[論文レビュー] The Speed Submission to DIHARD II: Contributions & Lessons Learned

Sahidullah, José Patino+12 more|arXiv (Cornell University)|Nov 7, 2019

Speech Recognition and Synthesis参考文献 20被引用数 9

ひとこと要約

本論文は、DIHARD IIチャレンジにおけるSpeedチームの話者ダイアライゼーションシステムを提示しており、ドメイングループ化、DNNベースの音声強調、LSTMベースの音声活動検出、および再セグメンテーションを伴う適応的クラスタリングを統合することで、ベースラインを顕著に上回った。このシステムは、オラクルスレッショングを用いて開発セットで58.28%のダイアライゼーションエラーレート（DER）を達成し、多様な音声品質と録音条件を有する現実的で困難なマルチスプーカー環境における顕著な向上を示した。

ABSTRACT

This paper describes the speaker diarization systems developed for the Second DIHARD Speech Diarization Challenge (DIHARD II) by the Speed team. Besides describing the system, which considerably outperformed the challenge baselines, we also focus on the lessons learned from numerous approaches that we tried for single and multi-channel systems. We present several components of our diarization system, including categorization of domains, speech enhancement, speech activity detection, speaker embeddings, clustering methods, resegmentation, and system fusion. We analyze and discuss the effect of each such component on the overall diarization performance within the realistic settings of the challenge.

研究の動機と目的

• 多様な録音条件を有する現実的で困難なマルチスプーカー音声環境における話者ダイアライゼーション性能の向上を目的とする。
• ドメイングループ化、音声強調、およびクラスタリング戦略がダイアライゼーション性能に与える影響を調査することを目的とする。
• 開発セットと評価セットの両方で一般化する有効なシステム部品および統合戦略を同定することを目的とする。
• データミスマッチに起因する開発セットと評価セットの間の性能格差を是正することを目的とする。

提案手法

• ResNetにインspiredされたアーキテクチャにスイープ・アンド・エクスカーションブロックを組み込み、VGG-19を損失計算に用いたDNNベースの音声強調システムを採用した。
• 実際のDIHARD IIの状況を模倣するため、ドメイン固有のノイズと音声を有する合成データセットを用いて強調モデルを学習した。
• ベースライン手法を上回る性能を示したLSTMベースの音声活動検出（SAD）システムを実装した。
• 誤りマトリクス、SD性能、メタデータを基に、4つの擬似ドメインに音声ドメインをグループ化し、クラス依存処理を可能にした。
• セッション固有のスレッショングチューニングと再セグメンテーション技術を用いた適応的クラスタリングを適用し、ダイアライゼーション出力を最適化した。
• マルチチャンネルシステムにおいて、ビームフォーミング（BeamformIt）とx-vector平均化を検討し、複数のトラックにおける性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 音声品質とメタデータに基づくドメイングループ化は、どのようにダイアライゼーション性能を向上させるか？
• RQ2 DNNベースの音声強調とSAD手法は、ノイズが多くマルチスプーカーな環境で、どの程度ダイアライゼーションエラーレートを低減するか？
• RQ3 開発セットでのスレッショングチューニングが、なぜ評価セットに一般化できないのか？
• RQ4 異なるフロントエンド処理およびクラスタリング戦略は、マルチチャンネルダイアライゼーション性能にどのように影響するか？
• RQ5 特徴のロバスト性とシステム統合は、多様なデータセット間での一般化を向上させるために果たす役割は何か？

主な発見

• オラクルスレッショングを用いて開発セットで58.28%のダイアライゼーションエラーレート（DER）を達成し、ベースラインの60.10%に対して顕著な改善を示した。
• LSTMベースのSADはベースライン手法を上回り、全体の性能向上に寄与した。
• 合成データを用いた音声強調はPESQとSNRを向上させたが、DERの改善は一貫して得られず、合成データにおけるドメインミスマッチが依然として課題であることを示した。
• 開発セットでのスレッショングチューニングにより、評価セットで56.61%のDERを達成したが、開発セットと評価セットの間のミスマッチにより性能が劣化した。
• ビームフォーミングと強調の組み合わせはわずかな向上または悪化を示し、BeamformIt + ベースライン強調はベースラインよりもわずかに性能が悪かった。これはマルチチャンネル設定において恩恵が限定的であることを示唆した。
• システム統合と再セグメンテーションにより結果が改善されたが、開発セットと評価セットの間の性能格差は依然として残っており、より良いドメイン一般化の必要性を浮き彫りにした。