[論文レビュー] The HCCL system for VoxCeleb Speaker Recognition Challenge 2022

Zhenduo Zhao, Zhuo Li+2 more|arXiv (Cornell University)|May 22, 2023

Speech Recognition and Synthesis被引用数 6

ひとこと要約

本論文は、VoxCeleb Speaker Recognition Challenge 2022 における HCCL システムを提示する。低リソース環境下での疑似ラベル生成のため、二ガウス適合とマルチモデル投票を組み合わせた新規の段階的サブグラフクラスタリング手法を導入している。この手法により、Track 1 で minDCF 0.1397、EER 2.414 の最先端性能を達成し、Track 3 ではドメイン適応、ラベル補正、アンサンブルモデリングを通じて 1st 位（EER 7.030、minDCF 0.388）を獲得した。

ABSTRACT

This report describes our submission to track1 and track3 for VoxCeleb Speaker Recognition Challenge 2022(VoxSRC2022). Our best system achieves minDCF 0.1397 and EER 2.414 in track1, minDCF 0.388 and EER 7.030 in track3.

研究の動機と目的

• Track 3 の低リソースなスプーカー認識問題に取り組み、50 名のラベル付きスプーカーのみが利用可能な状況下で、効果的なドメイン適応および疑似ラベル生成戦略を開発する。
• 高度なデータ拡張およびトレーニングプロトコルを用いることで、実世界の条件下におけるモデルの汎化性能と耐障害性を向上させる。
• 二ガウス適合とマルチモデル投票を組み合わせた段階的サブグラフクラスタリングアルゴリズムを開発し、未ラベルデータから高品質な疑似ラベルを生成する。
• 信頼度ベースのマルチモデル投票戦略を用いて、クラスタリングアルゴリズムから得られるノイズの多い疑似ラベルを補正し、クラスタリングの純度と最終的な認識精度を向上させる。
• アンサンブルモデリングおよびスコアキャリブレーション技術を用いて、複数の VoxSRC2022 トラックで最先端性能を達成する。

提案手法

• 二ガウス適合を用いて、発話間類似度スコアに基づき、サブスプーカーを検出し、マージする段階的サブグラフクラスタリングアルゴリズム（GMVPG）を提案する。
• 複数モデルの予測を統合し、ラベルの一貫性を投票する。一貫性のある予測が得られたサンプルのみをラベル補正に使用する。
• 信頼度しきい値戦略を適用する：高信頼度（sim_top1 > 0.5、sim_top2 < 0.4）、中信頼度（両方とも > 0.4）、低信頼度（sim_top1 < 0.5）を用い、ラベル補正をガイドする。
• 関数 CheckCombine を用いて、ガウス分布パラメータ（μ, σ, w）としきい値 th_nm を用いて、2 つのクラスタをマージすべきかどうかを判断する。
• 2段階のトレーニングプロトコルを実装する：最初にサイクル学習率とデータ拡張を適用し、その後、重み減衰を増加させた大マージン微調整を実施する。
• コhortセットおよびトライアルセットを用いて、ロジスティック回帰を用いて、適応的スコア正規化（AS-norm）と品質測定関数（QMF）を実装し、スコアをキャリブレーションする。

実験結果

リサーチクエスチョン

• RQ1 50 名のラベル付きスプーカーしか利用できない低リソースなスプーカー認識環境下で、どのようにして信頼性の高い疑似ラベルを生成できるか？
• RQ2 二ガウス適合を組み合わせた段階的サブグラフクラスタリング手法は、クラスタリング純度およびスプーカー認識性能をどの程度向上できるか？
• RQ3 マルチモデル投票と信頼度ベースのフィルタリングは、クラスタリングアルゴリズムから得られるノイズの多い疑似ラベルの補正にどの程度効果的か？
• RQ4 ドメイン適応およびデータ拡張は、実世界のスプーカー認識におけるモデルの汎化性能にどのような影響を与えるか？
• RQ5 アンサンブルモデリングおよびスコアキャリブレーションは、VoxSRC2022 の Track 1 および Track 3 において minDCF および EER を顕著に改善できるか？

主な発見

• HCCL システムは、Track 1 で minDCF 0.1397、EER 2.414 を達成し、100 件以上の提出の中での 6 位となった。
• Track 3 では、EER 7.030、minDCF 0.388 を達成し、100 件以上のチームの中から 1 位を獲得した。
• S1–S5 の複数モデルの融合とラベル補正により、Track 3 の dev-EER が 8.78% から 6.77% に、eval-EER が 8.42% から 7.03% に低下した。
• 提案された GMVPG クラスタリングアルゴリズムにより、ラベル補正後、スプーカー数が 1711 から 1760 に、発話数が 348,861 から 387,700 に増加した。
• LMF（大マージン微調整）を用いた 2 段階トレーニングプロトコルにより、複数のモデルで EER が 0.15–0.25% 減少した。
• 適応的スコア正規化と QMF キャリブレーションの適用により、Track 1 で EER が最大 0.5% 減少し、最終順位の向上に寄与した。