[論文レビュー] End-to-End Neural Speaker Diarization with Permutation-Free Objectives

Yusuke Fujita, Naoyuki Kanda+3 more|arXiv (Cornell University)|Sep 12, 2019

Speech Recognition and Synthesis参考文献 34被引用数 10

ひとこと要約

この論文は、順列フリーの目的関数を用いたマルチラベル分類アプローチにより、フレーム単位で発話者ラベルを直接予測するエンドツーエンドのニューラル発話者ダイアライゼーションモデル（EEND）を提案する。この手法は、別個のクラスタリング処理を不要とし、シミュレートされた混合音声で12.28%のダイアライゼーションエラーレート（DER）を達成し、CALLHOMEでドメイン適応により25.6%の相対的改善を示し、クラスタリングベースのベースラインを上回る性能を発揮する。

ABSTRACT

In this paper, we propose a novel end-to-end neural-network-based speaker diarization method. Unlike most existing methods, our proposed method does not have separate modules for extraction and clustering of speaker representations. Instead, our model has a single neural network that directly outputs speaker diarization results. To realize such a model, we formulate the speaker diarization problem as a multi-label classification problem, and introduces a permutation-free objective function to directly minimize diarization errors without being suffered from the speaker-label permutation problem. Besides its end-to-end simplicity, the proposed method also benefits from being able to explicitly handle overlapping speech during training and inference. Because of the benefit, our model can be easily trained/adapted with real-recorded multi-speaker conversations just by feeding the corresponding multi-speaker segment labels. We evaluated the proposed method on simulated speech mixtures. The proposed method achieved diarization error rate of 12.28%, while a conventional clustering-based system produced diarization error rate of 28.77%. Furthermore, the domain adaptation with real-recorded speech provided 25.6% relative improvement on the CALLHOME dataset. Our source code is available online at https://github.com/hitachi-speech/EEND.

研究の動機と目的

• クラスタリングベースの発話者ダイアライゼーションシステムの限界、特に重なりのある発話に対処できないこと、およびダイアライゼーションエラーに直接最適化できないことに対処する。
• 発話者埋め込み抽出やクラスタリングなどの別個モジュールを不要とし、すべての機能を1つのエンドツーエンドのニューラルネットワークに統合する。
• 重なりのある発話を含む実際のマルチスプーカー録音データを訓練に使用できるように、順列フリーの訓練目的関数を導入し、ダイアライゼーションエラーを直接最小化する。
• 実際の発話データを用いたドメイン適応により、変動する重なり割合や実世界の条件に強い耐性を向上させる。
• クリアで非重複の参照がない状態でも、訓練および推論の両方で重なりのある発話を明示的に扱える訓練目的関数を開発する。

提案手法

• 各フレームが全発話者に対する同時活動を予測する多値分類問題として発話者ダイアライゼーションを定式化する。
• トレーニング中のラベルの曖昧さを解消するために、順列不変訓練（PIT）損失を用いた順列フリーの目的関数を導入する。
• フレームごとの発話者活動を推定するために、深層再帰ニューラルネットワークを採用し、重なりのある発話を明示的にモデル化可能にする。
• ダイアライゼーションエラーを直接最小化する微分可能な目的関数を採用し、後処理のクラスタリングを回避する。
• 発話者間の識別性を高め、誤認識エラーを低減するために、動的ペairワイズコントラスト損失（DPCL）を適用する。
• 時間的に同期された発話者ラベルを備えた合成混合音声を用いてエンドツーエンドで訓練し、実録音データを用いたドメイン適応を可能にする。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドのニューラルネットワークは、別個のクラスタリングを経ずに発話者ダイアライゼーション出力を直接予測可能であり、クラスタリングベースのベースラインを上回る性能を示すか？
• RQ2 順列フリーの訓練目的関数は、エンドツーエンド訓練中の曖昧な発話者ラベル割り当てを効果的に処理できるか？
• RQ3 ドメイン適応を用いることで、モデルは実世界の録音データに一般化可能であり、どの程度の性能向上が達成できるか？
• RQ4 異なる重なり割合の条件下でモデルの性能はどのように変化するか？また、特定の訓練条件に過適合しているか？
• RQ5 クリアで非重複の参照音声が不要な状態でも、実際の重なりのある会話データ上でモデルを訓練可能か？

主な発見

• 提案されたEENDモデルは、シミュレートされた音声混合音声で12.28%のダイアライゼーションエラーレート（DER）を達成し、x-vectorベースライン（28.77% DER）を著しく上回った。
• CALLHOMEデータセットでは、実電話録音を用いたドメイン適応後、DERで25.6%の相対的改善を達成した。
• シミュレートされた混合音声において、ミス率が低く（1.7%）あったことから、重なりのあるセグメントおよび単一発話者セグメントの検出能力が優れていた。
• PIT損失の導入が訓練に不可欠であり、DPCL損失の適用により、特に誤認識エラーの低減が顕著に改善された。
• 重なりが少ない発話（β値が高い）では性能が低下したため、訓練データの27.3%の重なり割合に過適合している可能性が示唆された。
• シミュレートデータでは優れた性能を示したが、CALLHOMEでは、訓練（5.8%）とテスト（11.8%）の重なり割合の不一致のため、ベースラインシステムよりDERが高かった。