[論文レビュー] Integrating end-to-end neural and clustering-based diarization: Getting the best of both worlds

Keisuke Kinoshita, Marc Delcroix+1 more|arXiv (Cornell University)|Oct 26, 2020

Speech Recognition and Synthesis参考文献 21被引用数 7

ひとこと要約

本稿では、エンドツーエンドニューラル・ダイアライゼーション（EEND）とクラスタリングを組み合わせたハイブリッド・スプーカー・ダイアライゼーション・フレームワーク、EEND-vectorクラスタリングを提案する。この手法は、各チャンクごとのグローバル・スプーカー埋め込みを生成することで、ブロック間のラベル入れ替え問題を解消し、重なった発話が含まれる長時間の録音に対しても頑健な性能を発揮する。特に長時間設定において、元のEENDを上回る性能を示す。

ABSTRACT

Recent diarization technologies can be categorized into two approaches, i.e., clustering and end-to-end neural approaches, which have different pros and cons. The clustering-based approaches assign speaker labels to speech regions by clustering speaker embeddings such as x-vectors. While it can be seen as a current state-of-the-art approach that works for various challenging data with reasonable robustness and accuracy, it has a critical disadvantage that it cannot handle overlapped speech that is inevitable in natural conversational data. In contrast, the end-to-end neural diarization (EEND), which directly predicts diarization labels using a neural network, was devised to handle the overlapped speech. While the EEND, which can easily incorporate emerging deep-learning technologies, has started outperforming the x-vector clustering approach in some realistic database, it is difficult to make it work for `long' recordings (e.g., recordings longer than 10 minutes) because of, e.g., its huge memory consumption. Block-wise independent processing is also difficult because it poses an inter-block label permutation problem, i.e., an ambiguity of the speaker label assignments between blocks. In this paper, we propose a simple but effective hybrid diarization framework that works with overlapped speech and for long recordings containing an arbitrary number of speakers. It modifies the conventional EEND framework to simultaneously output global speaker embeddings so that speaker clustering can be performed across blocks to solve the permutation problem. With experiments based on simulated noisy reverberant 2-speaker meeting-like data, we show that the proposed framework works significantly better than the original EEND especially when the input data is long.

研究の動機と目的

• エンドツーエンドニューラル・ダイアライゼーション（EEND）が、高いメモリ使用量と一般化性能の低さのため、長時間の録音処理に限界を示す問題を解消すること。
• チャンク分割されたEEND処理におけるブロック間ラベル入れ替え問題を解消し、セグメント間で一貫したスプーカー識別が可能になるようにすること。
• クラスタリングベースのダイアライゼーション（長時間シーケンスに対する頑健性）とEEND（重なった発話を処理する能力）の長所を統合した単一のフレームワークを構築すること。
• 任意の数のスプーカーと顕著な発話の重なりを伴う長時間の録音（5分以上）に対しても効果的なダイアライゼーションを可能にすること。

提案手法

• EENDモデルを変更し、フレームレベルのダイアライゼーションラベルに加え、音声チャンクごとのグローバル・スプーカー埋め込みを出力可能にする。
• 共通のスプーカー埋め込みに基づいてブロック間のラベルを整列させるため、制約付きクラスタリングアルゴリズム（COP-k-means）を用いる。
• 埋め込み品質を向上させるために、トレーニング中にスプーカー損失項を導入し、ハイパーパラメータλ = 0.01を設定する。
• 長時間の録音処理は、非重複チャンクに分割して行い、EENDを適用して埋め込みを出力した後、ブロック間で埋め込みをクラスタリングすることでラベル入れ替え問題を解消する。
• モデルトレーニングには、4ヘッド、256ユニットのマルチヘッドアテンションブロックと、学習率スケジューリングを用いたAdam最適化手法を適用する。
• 最後の10個のモデルチェックポイントの平均をとり、ランダム初期化を10回繰り返して推論を実行することで、ばらつきを低減する。

Fig. 1 : Schematic diagram of the proposed diarization framework. The input contains 3 speakers in total (red, green, and blue speakers shown in the waveform in the bottom), but only at most 2 speakers are actively speaking in each chunk.

実験結果

リサーチクエスチョン

• RQ1 EENDとクラスタリングを統合したハイブリッド・ダイアライゼーション・システムは、重なった発話を含む長時間の録音を効果的に処理できるか？
• RQ2 提案手法は、チャンク分割されたEEND処理に内在するブロック間ラベル入れ替え問題を緩和できるか？
• RQ3 提案手法のEEND-vectorクラスタリングの性能は、長時間データにおいて元のEENDと比較してどうなるか？
• RQ4 スプーカー埋め込み推定を組み込むことで、クラスタリング精度と全体のダイアライゼーション性能が向上するか？

主な発見

• 提案手法のEEND-vectorクラスタリングは、長時間の録音（例：10分混合音声）において、元のEENDを顕著に上回る性能を示す。特に、録音時間が長くなるほど顕著である。
• 短時間の録音においても、元のEENDと同等の性能を維持しており、追加された構成要素による性能劣化がないことが確認された。
• ブロック単位でのEEND処理にクラスタリングを適用しない場合、ブロック間ラベル入れ替え問題により顕著な性能低下が生じることが、チャンク単体とクラスタリングありのバージョン間のDER低下から明らかになった。
• t-SNE可視化により、重なった発話が存在する中でもスプーカー埋め込みが明確に分離されており、信頼性の高いグローバル埋め込み推定が可能であることが確認された。
• すべての重なり率範囲において、提案手法のDERは元のEENDよりも顕著に低く、さまざまなレベルのスプーカー重なりに対して頑健であることが示された。
• 10回のランダム初期化におけるDERの標準偏差は0.2%未満であり、本手法の高い安定性が裏付けられた。

Fig. 2 : t-SNE plot of the 26 test speaker’s embedding vectors