[論文レビュー] Advances in integration of end-to-end neural and clustering-based diarization for real conversational speech

Keisuke Kinoshita, Marc Delcroix+1 more|arXiv (Cornell University)|May 19, 2021

Speech Recognition and Synthesis参考文献 19被引用数 4

ひとこと要約

本稿では、長時間の実際の会話音声、重複音声、任意の数の話者を扱うために、エンドツーエンドニューラルダイアライゼーションとクラスタリングベースの手法を統合したハイブリッドスプーカーダイアライゼーションフレームワーク、EEND-vectorクラスタリングを提案する。固定長ブロックに分割してEENDを適用し、ブロック間のラベル順序の入れ替えを解消するための制約付きクラスタリングを用いることで、6人の話者がいるCALLHOMEデータ上で12.22%のSOTAレベルのDERを達成した。これはEDA-EENDやx-vectorクラスタリングを上回る性能を示した。

ABSTRACT

Recently, we proposed a novel speaker diarization method called End-to-End-Neural-Diarization-vector clustering (EEND-vector clustering) that integrates clustering-based and end-to-end neural network-based diarization approaches into one framework. The proposed method combines advantages of both frameworks, i.e. high diarization performance and handling of overlapped speech based on EEND, and robust handling of long recordings with an arbitrary number of speakers based on clustering-based approaches. However, the method was only evaluated so far on simulated 2-speaker meeting-like data. This paper is to (1) report recent advances we made to this framework, including newly introduced robust constrained clustering algorithms, and (2) experimentally show that the method can now significantly outperform competitive diarization methods such as Encoder-Decoder Attractor (EDA)-EEND, on CALLHOME data which comprises real conversational speech data including overlapped speech and an arbitrary number of speakers. By further analyzing the experimental results, this paper also discusses pros and cons of the proposed method and reveals potential for further improvement. A set of the code to reproduce the results is available at https://github.com/nttcslab-sp/EEND-vector-clustering.

研究の動機と目的

• 長時間の録音、重複音声、任意の数の話者を扱う現行のダイアライゼーション手法の限界を克服すること。
• 特にCALLHOMEデータセットを用いた実際の会話音声データに対して、EEND-vectorクラスタリングフレームワークの評価を行うこと。
• 静的話者の検出を組み込むことで、より現実の状況に耐性のある性能を向上させること。
• EENDとクラスタリングベースのアプローチをハイブリッド的に統合することで、実データ上での優れた性能が得られることを示すこと。

提案手法

• 長時間の録音を扱うために、入力音声を固定長のブロック（例：15秒〜50秒）に分割する。
• 各ブロックに対してエンドツーエンドニューラルダイアライゼーション（EEND）を適用し、フレームレベルの話者ラベルを予測するとともに、グローバルな話者埋め込みベクトルを抽出する。
• ブロック間のラベル順序の入れ替えを解消するために、必須リンク（must-link）および不可リンク（cannot-link）制約を課した制約付き凝集的クラスタリング（制約付きAHC）アルゴリズムを用いる。
• 各ブロックごとに話者数を推定するためにEDA-EENDアーキテクチャを用い、推定された話者数をクラスタリングのガイドラインとして利用する。
• 静的話者の検出を組み込むことで、ブロック間での非活動話者を特定し、耐性を高める。
• 制約付きクラスタリングアルゴリズムは、すべてのブロックからの話者埋め込みベクトルを入力とし、EENDの予測から得られる制約を用いて話者の一貫性を維持する。

実験結果

リサーチクエスチョン

• RQ1 EEND-vectorクラスタリングフレームワークは、重複音声と変動する話者数を含む実際の会話音声データ（例：CALLHOME）において、優れた性能を発揮できるか？
• RQ2 ブロック間のラベル順序の入れ替えが生じる状況下で、制約付きクラスタリングは、非制約付きまたはオラクルクラスタリングと比較して、ダイアライゼーション性能をどのように向上させるか？
• RQ3 ブロックサイズが、特に話者入れ替えの頻度が高い短時間ブロックの状況下で、ダイアライゼーション精度に与える影響は何か？
• RQ4 本手法は、実会議データ上でEDA-EEND、x-vectorクラスタリング、RPNSDといったSOTAシステムと比較して、どのように性能を発揮するか？

主な発見

• 30秒ブロックを用いた場合、6人の話者がいるCALLHOMEデータ上で、EEND-vectorクラスタリングは12.22%のダイアライゼーションエラーレート（DER）を達成した。これは、オラクル話者数を前提としたEDA-EEND（15.43%）やx-vectorクラスタリング（18.98%）を顕著に上回った。
• 推定話者数を用いた場合、30秒ブロックで12.49%のDERを達成した。これは、EDA-EEND（15.29%）やx-vectorクラスタリング（19.43%）を上回った。
• 制約付きAHCクラスタリングが最も優れた性能を示し、特に6人話者セッションでは、非制約付きAHCと比較してDERを2.29%低減し、オラクルクラスタリングに最も近い性能を示した。
• ブロックサイズが小さくなる（例：15秒）と性能が低下し、頻繁な話者入れ替えに対処する困難さが顕在化した。ただし、誤分類の増加が、誤検出や欠落より顕著に見られた。
• ノイズやリバーブといった現実の課題に対しても、ベースラインのEENDやx-vectorクラスタリングと比較して、長時間で複雑な会議データでも性能が向上した。
• 話者埋め込みの精度を向上させたり、クラスタリングの耐性を高めることで、短時間ブロックでも性能を大幅に向上させられる可能性が示唆された。