[論文レビュー] Multi-scale Speaker Diarization with Dynamic Scale Weighting

Tae Jin Park, Nithin Rao Koluguri+2 more|arXiv (Cornell University)|Mar 30, 2022

Speech Recognition and Synthesis被引用数 4

ひとこと要約

本論文では、1次元畳み込みニューラルネットワーク（1D CNN）を用いて、各時刻に応じて異なる時間スケールへの重要性を動的に割り当てるスケール重み付け機構を備えたマルチスケール・スピーカー・デイアライゼーションシステムを提案する。マルチスケールクラスタリングによる初期化と、フレームごとにスピーカー・ラベルを推定するLSTMベースのデコーダーを採用することで、反復的リファインメントを必要とせず、重なりを認識できるデイアライゼーションと、柔軟なスピーカー数推定を実現し、CALLHOMEで3.92% DER、AMI MixHeadsetで1.05% DERという最先端の性能を達成した。

ABSTRACT

Speaker diarization systems are challenged by a trade-off between the temporal resolution and the fidelity of the speaker representation. By obtaining a superior temporal resolution with an enhanced accuracy, a multi-scale approach is a way to cope with such a trade-off. In this paper, we propose a more advanced multi-scale diarization system based on a multi-scale diarization decoder. There are two main contributions in this study that significantly improve the diarization performance. First, we use multi-scale clustering as an initialization to estimate the number of speakers and obtain the average speaker representation vector for each speaker and each scale. Next, we propose the use of 1-D convolutional neural networks that dynamically determine the importance of each scale at each time step. To handle a variable number of speakers and overlapping speech, the proposed system can estimate the number of existing speakers. Our proposed system achieves a state-of-art performance on the CALLHOME and AMI MixHeadset datasets, with 3.92% and 1.05% diarization error rates, respectively.

研究の動機と目的

• スピークァー・デイアライゼーションにおける時間分解能とスピークァー表現の忠実度のトレードオフを解消すること。
• 後処理や再セグメンテーションを必要とせず、重なりを認識できるデイアライゼーションを実現すること。
• 推論時における未知または変動するスピークァー数を含め、柔軟なスピークァー数の推定を可能にすること。
• 従来のクラスタリングベースおよびシーケンスモデルベースのデイアライゼーション手法を上回る性能を、マルチスケール表現の動的重み付けによって向上させること。

提案手法

• 本システムは、事前学習済みのスピークァー埋め込み抽出器（TitaNet）を用いてフレーム単位の埋め込みを生成する。
• マルチスケールクラスタリングにより、複数の時間スケールにおけるスピークァー数の推定と平均スピークァー表現の推定を初期化に活用する。
• 1次元畳み込みニューラルネットワーク（1D CNN）が、入力埋め込みとクラスターセンターベクトルに基づき、各時刻における動的スケール重みを計算する。
• スケール重みを用いて、スピークァー埋め込みとクラスターレプリゼンテーション間の重み付きコサイン類似度を計算する。
• LSTMベースのシーケンスモデルが、各フレームごとに二値スピークァー・ラベルを予測し、多次元シグモイド出力により重なりを認識できるデイアライゼーションを実現する。
• スピークァー・ラベルは、すべてのスピークァー対についてシグモイド出力を平均化することで推論され、未知のスピークァー数に対しても柔軟に対応可能となる。

Figure 1: Data-flow of the proposed multi-scale speaker diarization system.

実験結果

リサーチクエスチョン

• RQ1 動的スケール重み付け機構は、複数の時間スケールにわたるデイアライゼーション性能を向上させることができるか？
• RQ2 クラスタリングベースの初期化において、動的重み付けは静的または最適化されたスケール重み付けと比較して優れているか？
• RQ3 クラスタリング初期化と組み合わせたエンドツーエンドのシーケンスモデルは、反復的リファインメントを必要とせず、変動するスピークァー数を処理できるか？
• RQ4 提案手法は、標準ベンチマークにおいて、既存の最先端のモジュラーおよびエンドツーエンドのデイアライゼーションシステムをどの程度上回るか？
• RQ5 動的重み付け機構は、マルチスケールデイアライゼーションにおけるハイパーパramータチューニングへの依存度を低下させるか？

主な発見

• 提案されたEqual-w-MSDDシステムは、CALLHOMEテストセットで3.92%のデイアライゼーション誤り率（DER）を達成し、先行研究を上回った。
• AMI MixHeadsetデータセットでは、1.05%のDERを達成し、新たな最先端性能を樹立した。
• 最適化スケール重みを用いるOpt-w-MSDDバージョンはEqual-w-MSDDよりもわずかに優れた結果を示したが、後者はハイパーパramータチューニングなしで高いロバストネスを示した。
• 従来のクラスタリングベースのマルチスケール手法と比較して、スケール重みチューニングへの感受性が低いため、未知のドメインにおいても安定した性能を示した。
• 動的スケール重み付け機構により、追加の再セグメンテーションや反復的リファインメントステップを必要とせず、効果的な重なり認識デイアライゼーションが可能になった。
• 細かいスケールが0.5秒未満にまで低下しても、性能は高い精度を維持するが、極めて短いスケールではわずかに劣化する傾向を示した。

Figure 2: Cosine similarity values from each speaker and each scale are weighted by the scale weights to form a weighted cosine similarity vector.