[論文レビュー] Microsoft Speaker Diarization System for the VoxCeleb Speaker Recognition Challenge 2020

Xiong Xiao, Naoyuki Kanda+11 more|arXiv (Cornell University)|Oct 22, 2020

Speech Recognition and Synthesis参考文献 33被引用数 6

ひとこと要約

本論文は、VoxSRC 2020 チャレンジにおけるマイクロソフトの最良スコアを記録したスピーカー・ダイアライゼーションシステムを提示する。このシステムは、コンフォーマーに基づく連続音声分離モデルと、Res2Netに基づくスピークァー埋め込み抽出器、および変更された DOVER フュージョン手法を組み合わせており、開発セットで 3.71% の DER、評価セットで 6.23% の DER を達成した。この成績は、重なり合う音声や分離モジュールからの漏れを効果的に処理した結果である。

ABSTRACT

This paper describes the Microsoft speaker diarization system for monaural multi-talker recordings in the wild, evaluated at the diarization track of the VoxCeleb Speaker Recognition Challenge(VoxSRC) 2020. We will first explain our system design to address issues in handling real multi-talker recordings. We then present the details of the components, which include Res2Net-based speaker embedding extractor, conformer-based continuous speech separation with leakage filtering, and a modified DOVER (short for Diarization Output Voting Error Reduction) method for system fusion. We evaluate the systems with the data set provided by VoxSRCchallenge 2020, which contains real-life multi-talker audio collected from YouTube. Our best system achieves 3.71% and 6.23% of the diarization error rate (DER) on development set and evaluation set, respectively, being ranked the 1st at the diarization track of the challenge.

研究の動機と目的

• 重なり合う音声や悪条件の音響環境が影響する実世界の複数話者録音におけるスピークァー・ダイアライゼーションの課題に対処すること。
• エンド・トゥ・エンドの音声分離とスピークァー埋め込み・クラスタリングパイプラインを統合することで、ダイアライゼーション性能を向上させること。
• 音声分離出力からの残存ノイズや音楽の漏れによって引き起こされる誤検出を低減すること。
• 重なり合う音声を処理できる新しい投票ベースの統合手法を用いることで、システムのロバスト性と正確性を向上させること。
• 多様で実際の YouTube レコーディングを含む VoxSRC 2020 チャレンジデータセットで最先端の性能を達成すること。

提案手法

• 重なり合う音声を2つの出力チャンネルに分離できるように、コンフォーマーに基づく連続音声分離（CSS）システムを構築した。これにより、同時に話す話者の処理が改善された。
• スピークァークラスタリングの正確性を向上させるために、アドディティブ・マージンソフトマックス損失を用いた Res2Netに基づくニューラルネットワークを用いて、判別性の高いスピークァー埋め込みを抽出した。
• ベースラインシステムのスピークァークラスターセンターを用いて、分離されたチャンネルからの残存ノイズや音楽を除去することで、誤検出を抑制するための漏れフィルタリング手法を適用した。
• 複数のダイアライゼーション仮説を統合するため、修正された DOVER アルゴリズムを導入した。最良のシステムをルート仮説とし、最良のシステムには投票重みを 1.0、他のシステムには 0.34 を設定した。
• 反復的な仮説アライメントと重み付き投票を用い、時間領域は投票重み合計が 1.0 の閾値を超えた場合にのみ保持した。
• AHC 停止閾値や最小スピークァー持続時間といったハイパーパrameterは、開発セット上でグリッドサーチにより最適化した。

Fig. 1 : System Diagram

実験結果

リサーチクエスチョン

• RQ1 コンフォーマーに基づく連続音声分離モデルは、重なり合う音声の状況下でダイアライゼーション性能を効果的に向上させることができるか？
• RQ2 アドディティブ・マージン損失を用いた Res2Netに基づくスピークァー埋め込み抽出器を統合することで、スピークァークラスタリングの正確性にどのような影響を与えるか？
• RQ3 漏れフィルタリングは、分離出力における残存ノイズや音楽の影響によるダイアライゼーション出力の誤検出をどの程度低減するか？
• RQ4 重なり合う音声を考慮した修正された DOVER フュージョン手法は、標準的な統合手法を上回る性能を示すか？
• RQ5 システムの組み合わせが、実世界の制約のない録音におけるダイアライゼーション誤り率（DER）とジャカード誤り率（JER）に与える影響は何か？

主な発見

• 最良の単一システム（System 7）は、開発セットで 3.71% のダイアライゼーション誤り率（DER）、評価セットで 6.23% の DER を達成し、VoxSRC 2020 チャレンジで第1位となった。
• 漏れフィルタリングの追加により、DER が顕著に低下し、分離出力からの誤検出の抑制効果が明確に示された。
• System 5（漏れフィルタリングを含む）は、開発セットで 23.97% の JER を記録したが、ハイパーパrameterチューニングにより System 6 では 19.90% に低下し、セグメンテーションの正確性が向上したことが示された。
• System 8 は、System 7 をルート仮説として、4つのシステムを修正された DOVER フュージョン手法で統合したが、評価セットでは System 7 よりわずかに DER が改善された一方で、JER はわずかに悪化した。
• 修正された DOVER フュージョン手法により、重なり合う音声が存在する状況でも、システムの有効な統合が可能であった。これは、評価セットにおける一貫した性能向上によって裏付けられた。
• 本システムは、制限された提出回数（4回まで）であったにもかかわらず、未観測の条件下でも強力な汎化性能を示し、評価セットで最高の成績を収めた。

Fig. 2 : Statistics of recordings in development set, (a) histogram of overlap ratios; (b) histogram of number of speakers.