[論文レビュー] The ByteDance Speaker Diarization System for the VoxCeleb Speaker Recognition Challenge 2021

Keke Wang, Xudong Mao+5 more|arXiv (Cornell University)|Sep 5, 2021

Speech Recognition and Synthesis参考文献 16被引用数 9

ひとこと要約

本論文は、VoxSRC-2021 チャレンジにおける ByteDance のスピーカー・ダイアライゼーション・システムを提示する。このシステムは、VAD、ECAPA-TDNN スピーカー埋め込み、自己調整スペクトルクラスタリングに加え再クラスタリングとして階層的凝集型クラスタリング（AHC）を用い、pyannote を用いた重なった発話の検出、および複数の時間スケールにわたる DOVER-Lap フュージョンを統合している。評価セットにおいて 5.15% のダイアライゼーション誤り率（DER）を達成し、チャレンジで第2位となった。

ABSTRACT

This paper describes the ByteDance speaker diarization system for the fourth track of the VoxCeleb Speaker Recognition Challenge 2021 (VoxSRC-21). The VoxSRC-21 provides both the dev set and test set of VoxConverse for use in validation and a standalone test set for evaluation. We first collect the duration and signal-to-noise ratio (SNR) of all audio and find that the distribution of the VoxConverse's test set and the VoxSRC-21's test set is more closer. Our system consists of voice active detection (VAD), speaker embedding extraction, spectral clustering followed by a re-clustering step based on agglomerative hierarchical clustering (AHC) and overlapped speech detection and handling. Finally, we integrate systems with different time scales using DOVER-Lap. Our best system achieves 5.15\% of the diarization error rate (DER) on evaluation set, ranking the second at the diarization track of the challenge.

研究の動機と目的

• 実世界の、ノイズ、重なり、録音条件のばらつきが生じる音声に対して頑健なスピーカー・ダイアライゼーション・システムの開発を目的とする。
• YouTube におけるインタビューおよび討論から得られる長時間にわたるノイズ多きく重なった発話を含む音声におけるスピーカー・ダイアライゼーションの課題に取り組む。
• マルチスケールのシステム統合と重なった発話の効果的な処理を通じて、ダイアライゼーション性能の向上を図ること。
• VoxConverse および VoxSRC-2021 評価セットにおける SNR と継続時間分布の統計的分析を用いて、クラスタリングおよび VAD のコンponents を最適化すること。
• 体系的なコンponents 選定と統合を通じて、VoxSRC-2021 ダイアライゼーション トラックで最先端の性能を達成すること。

提案手法

• システムは pyannote 2.0 の VAD を用いて発話を分離し、VoxConverse dev2 データセットで最適な性能が得られた。
• ECAPA-TDNN モデルを SpeechBrain を用いてトレーニングし、広範なデータ拡張を適用してスピーカー埋め込みを抽出した。
• 初期クラスタリングは、一様に分割された短いクリップ（0.25s～0.75s のシフト）に対してスペクトルクラスタリングを実行し、その後 AHC を用いた再クラスタリングで発話境界を精緻化した。
• 重なった発話の検出には、DIHARD3、AMI、VoxConverse dev1 で事前トレーニングされた pyannote モデルを用い、グリッドサーチによるしきい値チューニングを実施した。
• 時間系列の最近傍探索戦略により、重なり部分のセグメントを重なりの前後で最も近い2人のスピーカーに割り当てた。
• DOVER-Lap を用いたシステム統合により、3つの時間スケール（0.25s、0.5s、0.75s のフレームシフト）で投票重み（0.4、0.3、0.3）を設定し、耐性および正確性を向上させた。

実験結果

リサーチクエスチョン

• RQ1 VoxConverse dev2 における SNR と音声継続時間の分布は、VoxSRC-2021 評価セットと比較してどのように異なるか。また、この差がモデルの一般化性能に影響を与えるか。
• RQ2 ノイズと重なりが変動する状況下におけるマルチスプーカー・ダイアライゼーションにおいて、スピーカー埋め込み抽出およびクラスタリングの最適な時間スケールは何か。
• RQ3 自己調整スペクトルクラスタリングと VAD フィルタリングを組み合わせた場合、AHC を用いた再クラスタリングがダイアライゼーション性能を向上させるか。
• RQ4 DOVER-Lap フュージョン手法は、異なる時間スケールを持つシステムを統合することで、DER や JER を低減するのにどの程度効果的か。
• RQ5 重なった発話の検出と処理は、全体のダイアライゼーション性能にどの程度の影響を与えるか。

主な発見

• VoxConverse dev2 データセットと VoxSRC-2021 評価セットは、SNR と継続時間の分布が類似しており、dev2 を主な検証セットとして使用することが正当化される。
• 最良の単一システム（0.25s フレームシフト）は、開発セットで 4.33% の DER と 23.80% の JER を達成し、粗いスケールのシステムを上回った。
• DOVER-Lap を用いたシステム統合により、JER が 0.91%（16.02% に）低下し、DER も 0.05% 改善され、評価セットで 5.15% の DER を達成した。
• しきい値 0.047 の AHC を用いた再クラスタリングにより、推定スピーカー数が真の数を上回る状況での DER が顕著に改善された。
• 音声強調処理はスピーカー埋め込みを劣化させると判明したため、DER への悪影響を避けるために最終システムから除外された。
• 重なった発話の検出は、精度 76.85%、再現率 36.81% を達成した。開発セット全体の 3.28% が重なっており、3人以上のスピーカーが重なったのは 0.6% にとどまった。