[論文レビュー] USTC-NELSLIP System Description for DIHARD-III Challenge

Yuxuan Wang, Maokui He+7 more|arXiv (Cornell University)|Mar 19, 2021

Speech Recognition and Synthesis参考文献 21被引用数 20

ひとこと要約

本論文は、DIHARD-III 話者ダイアライゼーションチャレンジのためのUSTC-NELSLIPシステムを提示する。ノイズが多く、複数人の話者が重なっている環境でのダイアライゼーション性能を向上させるために、反復的音声分離（ISS）と反復的ターゲット話者VAD（ITS-VAD）を導入している。ドメインに依存する処理、音声ドメイン分類、モデルアンサンブルを組み合わせることで、トラック1では11.30%のDER、トラック2では16.78%のDERを達成し、ベースラインクラスタリングシステム比で48.7%の相対的改善を示し、リーダーボードで1位を獲得した。

ABSTRACT

This system description describes our submission system to the Third DIHARD Speech Diarization Challenge. Besides the traditional clustering based system, the innovation of our system lies in the combination of various front-end techniques to solve the diarization problem, including speech separation and target-speaker based voice activity detection (TS-VAD), combined with iterative data purification. We also adopted audio domain classification to design domain-dependent processing. Finally, we performed post processing to do system fusion and selection. Our best system achieved DERs of 11.30% in track 1 and 16.78% in track 2 on evaluation set, respectively.

研究の動機と目的

• 重なった話者と背景ノイズが存在する困難な現実世界の環境における話者ダイアライゼーション性能の向上を目的とする。
• ドメイン固有の変動をドメイン分類と特化した処理パイプラインで対処し、ダイアライゼーション性能のばらつきを低減することを目的とする。
• 反復的音声分離（ISS）と反復的ターゲット話者VAD（ITS-VAD）の統合により、ダイアライゼーション精度を向上させることを目的とする。
• 複数システムのアンサンブルと反復的データ精製を用いて、ダイアライゼーション誤り率（DER）を低減することを目的とする。
• エンドツーエンドおよびハイブリッドモジュラー手法を用いて、DIHARD-IIIチャレンジで最先端の性能を達成することを目的とする。

提案手法

• 10秒の音声セグメントで学習された17層のResNetベースの音声ドメイン分類器を、11種類の異なる音声ドメインを識別するために使用し、開発セットで100%の正確性を達成した。
• RESTAURANTドメインに対して、段階的な複数話者音声強調処理を実施した。各層でSNRを10 dBずつ増加させ、強調にPELPSおよびPRM特徴量を用いた。
• 250時間のシミュレートされた2話者Librispeechデータを用いて、重なった話者の状況における話者分離性能を向上させる反復的音声分離（ISS）システムを学習した。
• 拡張されたVoxCelebデータを用いたi-vector抽出と、2500時間の現実的でシミュレートされた複数話者データを用いた学習により、反復的ターゲット話者VAD（ITS-VAD）システムを構築した。
• DNN、CLDNN、TDNNの複数のSADモデルを訓練し、重み付き投票によるアンサンブルにより、話者活動検出の正確性を向上させた。
• ISSおよびITS-VADの複数イテレーション出力を、dover-lapを用いてアンサンブル処理し、最終的な結果は後処理とドメイン固有のルーティングにより選択した。

実験結果

リサーチクエスチョン

• RQ1 反復的音声分離は、重なったノイズの多い話者環境において、ダイアライゼーション性能を顕著に向上させることができるか？
• RQ2 多様な音声ドメインにおいて、反復的ターゲット話者VADは、従来のクラスタリングベースのダイアライゼーションと比較して、どのように性能を発揮するか？
• RQ3 ドメインに依存する処理は、多様な現実世界の録音データにおいて、ダイアライゼーションの耐障害性をどの程度向上させるか？
• RQ4 音声強調、SADアンサンブル、反復的精錬の組み合わせが、全体のダイアライゼーション誤り率に及ぼす影響は何か？
• RQ5 複数の反復的ダイアライゼーションシステムを組み合わせる際、dover-lapによるモデルアンサンブルはDERをさらに低減できるか？

主な発見

• USTC-NELSLIPシステムは、トラック1の評価セットで11.30%のダイアライゼーション誤り率（DER）を達成し、ベースラインクラスタリングシステム比で48.7%の相対的改善を示した。
• トラック2では、DERが16.78%にまで低下した。これは、ベースラインシステムが全評価セットでDER25.36%を記録していたのと比較して顕著な向上を示している。
• ISSベースのシステムを統合した結果、反復学習とdover-lapアンサンブルを組み合わせることで、DERは16.22%から8.31%に低下した。これは、反復的精錬による顕著な性能向上を示している。
• 3つのSADモデル（DNN、CLDNN、TDNN）のアンサンブルにより、全開発セットでのSAD誤り率は、ベースラインの2.42%から1.36%に低下した。これは、モデル間の相補性の有効性を示している。
• ITS-VADシステムは、RESTAURANTを除くすべてのドメインでベースラインクラスタリングシステムを上回った。RESTAURANTでは高ノイズと重なりが激しく、性能が低下したが、これによりドメイン固有のルーティングの正当性が裏付けられた。
• 音声ドメイン分類は開発セットで100%の正確性を達成し、効果的なドメインに適応した処理と音声ストリームのルーティングを可能にした。