[論文レビュー] Separation Guided Speaker Diarization in Realistic Mismatched Conditions

Shutong Niu, Jun Du+2 more|arXiv (Cornell University)|Jul 6, 2021

Speech and Audio Processing参考文献 28被引用数 5

ひとこと要約

本稿では、実際の不一致条件における重複音声処理のパフォーマンスを向上させるために、クラスタリングベースのダイアライゼーション（CSD）と分離ベースのダイアライゼーション（SSD）の結果の間で動的に切り替える分離誘導型スケーラー・ダイアライゼーション（SGSD）フレームワークを提案する。音声持続時間の不均衡、重なり比、相対ダイアライゼーション誤差率を用いた不安定性検出により、DIHARD-III CTSデータセットの開発セットと評価セットにおいて、DERをそれぞれ20.2%、20.8%低減した。

ABSTRACT

We propose a separation guided speaker diarization (SGSD) approach by fully utilizing a complementarity of speech separation and speaker clustering. Since the conventional clustering-based speaker diarization (CSD) approach cannot well handle overlapping speech segments, we investigate, in this study, separation-based speaker diarization (SSD) which inherently has the potential to handle the speaker overlap regions. Our preliminary analysis shows that the state-of-the-art Conv-TasNet based speech separation, which works quite well on the simulation data, is unstable in realistic conversational speech due to the high mismatch speaking styles in simulated training speech and read speech. In doing so, separation-based processing can assist CSD in handling the overlapping speech segments under the realistic mismatched conditions. Specifically, several strategies are designed to select between the results of SSD and CSD systems based on an analysis of the instability of the SSD system performances. Experiments on the conversational telephone speech (CTS) data from DIHARD-III Challenge show that the proposed SGSD system can significantly improve the performance of state-of-the-art CSD systems, yielding relative diarization error rate reductions of 20.2% and 20.8% on the development set and evaluation set, respectively.

研究の動機と目的

• 現実的な会話設定における重複音声セグメントにおけるクラスタリングベースのダイアライゼーション（CSD）の性能不良を解消すること。
• 会話電話音声（CTS）のような現実世界の不一致データにおける最先端の音声分離（例：Conv-TasNet）の不安定性を克服すること。
• 分離信頼性に基づいて、CSDとSSDの両方の強みを活かした知的選択によるハイブリッドシステムを構築すること。
• 訓練データとテストデータの話者スタイルが異なる現実的な不一致条件下で、DIHARD-III CTSデータセットにおけるダイアライゼーションパフォーマンスを向上させること。

提案手法

• スケーラー・ダイアライゼーション用に分離された音声を生成する最先端のConv-TasNetベースの音声分離システムを統合する（SSD）。
• 3つの検出戦略を設計する：(1) 音声持続時間の不均衡チェック（SGSD1）、(2) 高い重なり比検出（SGSD2）、(3) CSDとSSDの間の相対ダイアライゼーション誤差率（DER）比較（SGSD3）。
• 比較とフォールバックのためのベースラインシステムとして、VBxベースのクラスタリングベースのダイアライゼーション（CSD）を採用する。
• 主な選択メカニズムとしてSGSD3を適用し、SSDとCSDの相対DERを用いて分離信頼性を評価し、システム出力を誘導する。
• 複数の検出戦略（例：SGSD1とSGSD2）を組み合わせることで、不安定な分離ケースの検出を向上させる。
• 複数の検出手法にわたる投票やアンサンブル戦略を適用するが、誤差伝搬のため、収益が減少する傾向にある。

実験結果

リサーチクエスチョン

• RQ1 現実的な不一致条件下で、重複音声領域における分離ベースのダイアライゼーション（SSD）は、クラスタリングベースのダイアライゼーション（CSD）を上回ることができるか？
• RQ2 現実の会話音声における音声分離（例：Conv-TasNet）の不安定性は、どのように検出し、緩和できるか？
• RQ3 真の分離品質が不明な状況下で、CSDとSSDの出力の間を効果的かつ信頼性高く選択するための指標として、どのようなものが適しているか？
• RQ4 単体のCSDやSSDと比較して、ハイブリッドなSGSDシステムは、現実世界の不一致CTSデータにおいて、どの程度ダイアライゼーションパフォーマンスを向上させられるか？

主な発見

• 提案されたSGSDシステムは、ベースラインCSDシステムと比較して、DIHARD-III CTSの開発セットで20.2%、評価セットで20.8%のダイアライゼーション誤差率（DER）低減を達成した。
• CSDとSSDの相対DERを選択基準として用いるSGSD3は、評価セットで90%の精度を達成し、個別の戦略を上回る最高の検出性能を示した。
• SGSD1とSGSD2の組み合わせにより、評価セットでの検出性能が85%の精度に向上し、両者の相補性を示した。
• 3つの戦略すべてに投票を適用したが、SGSD1とSGSD2からの誤差伝搬のため、性能がわずかに低下した。これはアンサンブル設計におけるトレードオフを示している。
• CSDシステム単体では、開発セットで4.2%、評価セットで3.7%の低いスケーラー誤差率を達成したが、重複処理ができないため、ミス誤差が高くなった（開発セットで12.0%）。
• SGSD3は、開発セットにおけるミス誤差をCSDの12.0%から7.6%に低減し、オラクル性能（7.5%のミス誤差）に近づけた。これは、重複音声処理における効果性を裏付ける。