[論文レビュー] Online End-to-End Neural Diarization with Speaker-Tracing Buffer

Yawen Xue, Shota Horiguchi+3 more|arXiv (Cornell University)|Jun 4, 2020

Speech Recognition and Synthesis参考文献 42被引用数 10

ひとこと要約

本論文は、スピークャー追跡バッファ（STB）を用いたオンラインエンドツーエンドニューラルダイアライゼーションシステムを提案する。STBにより、チャンク間でのスピークャーの順列入れ替えの不一致を解消し、低レイテンシーで一貫性のあるダイアライゼーションを実現する。過去のチャンクからの順列情報を保持・再利用し、変動するチャンクサイズで学習することで、CALLHOMEでは12.54%、CSJでは20.77%のDERを達成し、実際のレイテンシーは1.4秒にとどまる。

ABSTRACT

This paper proposes a novel online speaker diarization algorithm based on a fully supervised self-attention mechanism (SA-EEND). Online diarization inherently presents a speaker's permutation problem due to the possibility to assign speaker regions incorrectly across the recording. To circumvent this inconsistency, we proposed a speaker-tracing buffer mechanism that selects several input frames representing the speaker permutation information from previous chunks and stores them in a buffer. These buffered frames are stacked with the input frames in the current chunk and fed into a self-attention network. Our method ensures consistent diarization outputs across the buffer and the current chunk by checking the correlation between their corresponding outputs. Additionally, we trained SA-EEND with variable chunk-sizes to mitigate the mismatch between training and inference introduced by the speaker-tracing buffer mechanism. Experimental results, including online SA-EEND and variable chunk-size, achieved DERs of 12.54% for CALLHOME and 20.77% for CSJ with 1.4s actual latency.

研究の動機と目的

• オンラインスピークャー・ダイアライゼーションにおけるスピークャー順列問題に対処すること。これは、チャンク間でスピークャーの割り当てが一貫しないことによるものである。
• 再訓練を伴わずに、オフラインで事前学習されたSA-EENDモデルをオンライン環境で利用可能にすること。
• オフライン手法と同等の性能を維持しつつ、レイテンシーを低減すること。
• スピークャー追跡バッファによる入力長の可変性が、トレーニングと推論の不一致を引き起こす問題を軽減すること。

提案手法

• スピークャー順列情報を保持するため、過去のチャンクからの代表フレームを格納するスピークャー追跡バッファ（STB）を導入する。
• バッファ内のフレームを現在のチャンク入力とスタックし、自己注意ネットワークに供給することで、バッファと現在のセグメント間で一貫性のあるダイアライゼーション出力を保証する。
• バッファフレームと現在のフレームの出力間の相関チェックを用いて、スピークャーの一貫性を維持する。
• STB機構によって導入される可変長入力に対応するため、変動するチャンクサイズでSA-EENDモデルを学習する。
• 順列情報が強いフレームを優先するため、STBに対して重み付きサンプリングを適用する。
• CALLHOME、CSJ、および制御された重複率を有する2スピークャー録音を含む、実際とシミュレートされたデータセットを組み合わせて、性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 スピークャー追跡バッファは、オンラインダイアライゼーションにおけるスピークャー順列の不一致を効果的に解消できるか？
• RQ2 STB機構は、標準的なオンラインチャンキングと比較して、ダイアライゼーションエラー率（DER）にどのような影響を与えるか？
• RQ3 変動するチャンクサイズでの学習は、オンラインSA-EENDにおけるトレーニングと推論の不一致をどの程度軽減できるか？
• RQ4 STBは、長時間の録音において、オフラインSA-EENDに近い性能を実現できるか？
• RQ5 変動する重複率および実世界の条件下で、このシステムはどの程度の性能を示すか？

主な発見

• STBと変動するチャンクサイズでの学習を組み合わせた、本研究のオンラインSA-EENDは、CALLHOMEデータセットで12.54%のDERを達成し、他のオンラインシステムを上回った。
• CSJデータセットでは、20.77%のDERを達成し、オフラインSA-EENDの20.48%にほぼ等しい性能を示した。
• システムは1.4秒の実際のレイテンシーを達成し、リアルタイムアプリケーションに適した低レイテンシー動作を実現した。
• CSJ（平均767.0秒）のような長時間の録音において、STBベースの手法が優れた性能を示し、長時間の音声にスケーラブルであることが示された。
• 変動するチャンクサイズでの学習により、入力長の不一致に起因する性能低下が軽減された。特に長時間のシーケンスにおいて顕著であった。
• 30秒以内の処理では、変動チャンクサイズで学習したモデルは固定チャンクサイズでの学習に比べ一時的に性能が劣ったが、その後両者ともほぼオフライン性能に収束した。