[論文レビュー] DIHARD II is Still Hard: Experimental Results and Discussions from the DKU-LENOVO Team

Qingjian Lin, Weicheng Cai+4 more|arXiv (Cornell University)|Feb 23, 2020

Speech Recognition and Synthesis参考文献 35被引用数 8

ひとこと要約

DKU-LENOVO チームは、DIHARD II チャレンジ向けに、ResNet-LSTM VAD、Deep ResNet 話者埋め込み、LSTM を用いた類似度スコアリング、スペクトルクラスタリング、変動ベイズ再分割、重なり検出を統合した頑健な話者デイアライゼーションシステムを提示する。最終システムは、Track1 で 18.84% DER、Track2 で 27.90% DER を達成し、2位にランクインしたが、重なり音声や子供の発話といった困難なシナリオにおける課題が依然として顕在化している。

ABSTRACT

In this paper, we present the submitted system for the second DIHARD Speech Diarization Challenge from the DKULENOVO team. Our diarization system includes multiple modules, namely voice activity detection (VAD), segmentation, speaker embedding extraction, similarity scoring, clustering, resegmentation and overlap detection. For each module, we explore different techniques to enhance performance. Our final submission employs the ResNet-LSTM based VAD, the Deep ResNet based speaker embedding, the LSTM based similarity scoring and spectral clustering. Variational Bayes (VB) diarization is applied in the resegmentation stage and overlap detection also brings slight improvement. Our proposed system achieves 18.84% DER in Track1 and 27.90% DER in Track2. Although our systems have reduced the DERs by 27.5% and 31.7% relatively against the official baselines, we believe that the diarization task is still very difficult.

研究の動機と目的

• DIHARD II データセットの挑戦的で現実的で、ノイズが多く、複数話者が登場する環境を想定した高パフォーマンスな話者デイアライゼーションシステムの開発。
• VAD、話者埋め込み、スコアリング、クラスタリング、再分割、重なり検出といった異なるモジュールがデイアライゼーション性能に与える影響の調査。
• 特に重なり率が高く、非成人話者が登場する領域（例：子供の録音、レストラン会議）を含む多様なドメインにおけるシステムの頑健性の評価。
• VB デイアライゼーションのような特定モジュールがアンサンブルシステムでは一貫した向上を示さない理由の解明、および現在のデイアライゼーション技術の限界の理解。

提案手法

• 評価セットで 80.7% の精度を達成し、適応後には 91.4% に向上する、ResNet-LSTM アーキテクチャを用いた音声活動検出（VAD）の実装。
• 話者固有の特徴を捉えるために Deep ResNet を用いた話者埋め込みを採用し、すべての設定で i-vector や x-vector を上回る性能を示した。
• LSTM を用いた類似度スコアリングに続くスペクトルクラスタリングを適用し、PLDA や AHC より優れた性能を発揮した。
• 再分割段階で変動ベイズ（VB）デイアライゼーションを導入し、最も優れた単一システムで DER を 1.65% 減少させた。
• 重なり音声領域を処理するための重なり検出を統合したが、重なり音声の再現率が低いため、効果は限定的であった。
• 複数のシステム（システム 2、4、6）のスコア行列を平均化することでアンサンブル化し、開発セットで DER を 20.24% まで低下させ、システムの頑健性を向上させた。

実験結果

リサーチクエスチョン

• RQ1 ResNet-LSTM を含むさまざまな VAD モデルは、WebRTC VAD と比較して、DIHARD II における精度と一般化性能でどのように差を示すか？
• RQ2 i-vector や x-vector と比較して、Deep ResNet 話者埋め込みが多様なドメインにおけるデイアライゼーション性能向上に果たす相対的寄与度はどの程度か？
• RQ3 LSTM を用いた類似度スコアリングに続くスペクトルクラスタリングは、複雑で重なりがちな、または短時間の発話セグメントにおいて、従来の PLDA や AHC クラスタリングを上回る性能を示すか？
• RQ4 変動ベイズ再分割は単一システムでは性能向上をもたらすが、アンサンブルシステムでは向上しないのはなぜか？この現象は、システム間の相互作用や不確実性モデリングにどのような示唆をもたらすか？
• RQ5 重なり検出は、レストラン会議や会議のような重なり率が高いドメインにおいて、実世界のデイアライゼーションで DER をどの程度低減できるか？

主な発見

• 最終システムは、Track1 で 18.84% DER、Track2 で 27.90% DER を達成し、リーダーボードで 2 位にランクインし、現実的で挑戦的な音声データに対する強力な性能を示した。
• Deep ResNet を用いた話者埋め込みは、すべての設定で i-vector や x-vector を上回り、最も優れた単一システム（システム 6）で 20.87% DER を達成した。
• システム 2、4、6 のスコア行列を平均化することでアンサンブル化した結果、開発セットで DER が 20.24% に低下し、アンサンブル手法が頑健性向上に寄与したことが示された。
• 変動ベイズ再分割により、最も優れた単一システム（20.87% → 19.22%）で DER が 1.65% 減少したが、アンサンブルシステムでは効果がなく、むしろ性能が低下した。
• 重なり検出により、Track1 で 0.38%、Track2 で 0.69% の DER 減少が見られたが、これは現在の手法が大部分の重なり音声セグメントを検出できていないことを示している。
• 重なりエラーが顕著なドメイン—特にレストラン、子供、Web ビデオ、会議—でシステムの性能が最も悪く、これらの分野における課題が依然として根強く残っていることが明らかになった。