[論文レビュー] End-to-End Speaker Diarization for an Unknown Number of Speakers with Encoder-Decoder Based Attractors

Shota Horiguchi, Yusuke Fujita+3 more|arXiv (Cornell University)|May 20, 2020

Speech Recognition and Synthesis参考文献 37被引用数 12

ひとこと要約

本論文は、音声埋め込みから動的に柔軟な数のアトラクタを決定する、エンドツーエンドスプーカーダイアライズに特化した新規手法であるエンコーダ・デコーダベースのアトラクタ（EDA）を提案する。この手法により、スプーカー数の事前知識がなくても正確なダイアライズが可能になる。2人のスプーカーのシミュレート混合音声では2.69%のSOTA（最先端）のダイアライズエラー率（DER）を達成し、CALLHOMEデータセット（スプーカー数が不明）では15.29%を記録した。これは、アンサンブルSA-EENDやx-vectorクラスタリング手法を上回る性能を示した。

ABSTRACT

End-to-end speaker diarization for an unknown number of speakers is addressed in this paper. Recently proposed end-to-end speaker diarization outperformed conventional clustering-based speaker diarization, but it has one drawback: it is less flexible in terms of the number of speakers. This paper proposes a method for encoder-decoder based attractor calculation (EDA), which first generates a flexible number of attractors from a speech embedding sequence. Then, the generated multiple attractors are multiplied by the speech embedding sequence to produce the same number of speaker activities. The speech embedding sequence is extracted using the conventional self-attentive end-to-end neural speaker diarization (SA-EEND) network. In a two-speaker condition, our method achieved a 2.69 % diarization error rate (DER) on simulated mixtures and a 8.07 % DER on the two-speaker subset of CALLHOME, while vanilla SA-EEND attained 4.56 % and 9.54 %, respectively. In unknown numbers of speakers conditions, our method attained a 15.29 % DER on CALLHOME, while the x-vector-based clustering method achieved a 19.43 % DER.

研究の動機と目的

• エンドツーエンドスプーカーダイアライズモデルが事前に定義された最大スプーカー数を必要としているという制限を解消すること。
• クラスタリングのヒューリスティクスに依存せずに、未知または変動するスプーカー数に対応するエンドツーエンドのダイアライズを可能にすること。
• 音声の重なりや変動するスプーカー数を伴う実世界の録音データに対しても、より高いロバスト性と性能を実現すること。
• スプーカー数の事前知識なしに、音声埋め込みからエンドツーエンドでアトラクタを生成する手法を開発すること。

提案手法

• EDAモジュールは、音声埋め込みのシーケンスから直接柔軟な数のアトラクタを生成するエンコーダ・デコーダアーキテクチャを採用する。
• アトラクタは、学習可能なクエリメカニズムを用いて埋め込みシーケンスに注目することで計算され、スプーカー表現の動的選択を可能にする。
• 各アトラクタと入力埋め込みとのドット積により、スプーカーごとの活性マップが推定され、スプーカー活動が特定される。
• 自己注意型エンドツーエンドニューラルダイアライズ（SA-EEND）フレームワークに統合され、順列不変訓練（PIT）を維持したエンドツーエンド学習が可能になっている。
• モデルは実データ（例：CALLHOME）でファインチューニングされ、固定および変動するスプーカー数の両条件で評価されている。
• 音声の重なりは自然に処理され、重なり時間領域で複数のアトラクタが同時に活性化可能である。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドのダイアライズシステムは、スプーカー数の事前知識なしに、動的にスプーカー数を決定できるか？
• RQ2 未知または変動するスプーカー数の状況下で、アトラクタベース手法はクラスタリングベースのベースラインと比べてどのように性能を発揮するか？
• RQ3 再トレーニングや再設定なしに、提案手法のEDAモジュールは異なるスプーカー数に一般化可能か？
• RQ4 EDAをSA-EENDに統合することで、音声の重なりを伴うシミュレートおよび実世界の録音データにおけるダイアライズ精度が向上するか？
• RQ5 実際のスプーカー数がオラクル情報として与えられた場合と、モデルが推定したスプーカー数の場合とで、モデルの性能はどのように変化するか？

主な発見

• 2人のスプーカーのシミュレート混合音声では、提案手法が2.69%のダイアライズエラー率（DER）を達成し、アンサンブルSA-EEND（4.56%）やx-vectorクラスタリング（7.74%）を上回った。
• CALLHOMEの2人スプーカー部分集合では、8.07%のDERを記録した。これはSA-EEND（9.54%）やx-vectorクラスタリング（15.45%）を上回った。
• CALLHOMEのスプーカー数が不明な状況下では、15.29%のDERを達成し、x-vectorクラスタリング（19.43%）を上回り、スプーカー数の変動に対してもロバストであることが示された。
• 実際のスプーカー数がオラクル情報として与えられた場合、CALLHOMEで15.43%のDERを記録し、推定スプーカー数の場合と比較して劣化が最小限に抑えられた。
• DIHARD 2019評価セットでは、32.59%のDERを達成し、ベースライン（40.86%）や2019年以前の最良システム（35.10%）を上回ったが、2019年以降の最良システムには及ばなかった。
• 本手法は優れた一般化性能を示した。スプーカー数が柔軟なシミュレート混合音声では、それぞれ2人および3人専用モデルとの差が1.64点および0.56点に留まった。