[論文レビュー] The IDLAB VoxCeleb Speaker Recognition Challenge 2020 System Description

Jenthe Thienpondt, Brecht Desplanques+1 more|arXiv (Cornell University)|Oct 23, 2020

Speech Recognition and Synthesis参考文献 28被引用数 15

ひとこと要約

本論文は、2020年VoxCeleb Speaker Recognition Challengeにおける最良成績を収めたシステムを提示する。教師あり検証では、大マージン微調整と品質感知スコアキャリブレーションを組み合わせ、教師なし検証では、対照的学習と反復的クラスタリングを適用している。最終的なアンサンブルでは、VoxCeleb1で2.1%のEER、VoxSRC-20で7.2%のEERを達成し、教師あり手法に近い最先端の性能を示した。

ABSTRACT

In this technical report we describe the IDLAB top-scoring submissions for the VoxCeleb Speaker Recognition Challenge 2020 (VoxSRC-20) in the supervised and unsupervised speaker verification tracks. For the supervised verification tracks we trained 6 state-of-the-art ECAPA-TDNN systems and 4 Resnet34 based systems with architectural variations. On all models we apply a large margin fine-tuning strategy, which enables the training procedure to use higher margin penalties by using longer training utterances. In addition, we use quality-aware score calibration which introduces quality metrics in the calibration system to generate more consistent scores across varying levels of utterance conditions. A fusion of all systems with both enhancements applied led to the first place on the open and closed supervised verification tracks. The unsupervised system is trained through contrastive learning. Subsequent pseudo-label generation by iterative clustering of the training embeddings allows the use of supervised techniques. This procedure led to the winning submission on the unsupervised track, and its performance is closing in on supervised training.

研究の動機と目的

• VoxCeleb Speaker Recognition Challenge 2020における教師ありおよび教師なし話者認識の最先端の性能を達成すること。
• アーキテクチャの強化とトレーニング戦略を用いて、話者認識モデルのロバスト性と一般化性能を向上させること。
• 自己教師付き対照的学習と偽ラベル付けを用いて、教師ありと教師なし話者認識の性能格差を埋めること。
• 異なる発話期間にわたって一貫した意思決定閾値を維持できる品質感知キャリブレーション手法を開発すること。
• 反復的クラスタリングを用いた教師なし学習が、教師あり手法の水準に近づく可能性を示すこと。

提案手法

• 動的拡張、サブセンターAAM-ソフトマックス、およびBi-LSTM層を含むアーキテクチャの変種を用いて、6つのECAPA-TDNNおよび4つのResNet34ベースのモデルをトレーニングした。
• マージンを拡大（0.5）し、6秒のクロップを長時間適用し、HPMサンプリングを適用することで、大マージン微調整を実施し、意思決定境界の分離を向上させた。
• 30,000件の試行（短-短、短-長、長-長）を用いたロジスティック回帰を用いて、品質感知スコアキャリブレーションを実装し、対称的品質測定関数を用いた。
• オンラインデータオーグメンテーションとオーバーラップ最小化を用いた対照的学習により、自己教師付き埋め込み抽出器を訓練した。
• ミニバッチk-meansとAHCを用いて反復的クラスタリングを実施し、次の教師あり微調整用の高品質な偽ラベルを生成した。
• 偽ラベルデータ上で、2048チャネルおよび2サブセンターAAMを搭載した大規模ECAPA-TDNNを微調整し、その後大マージン微調整と反復的クラスタリングモデルとのスコア平均化を実施した。

実験結果

リサーチクエスチョン

• RQ1 初期トレーニング後に適用される大マージン微調整が、教師あり話者認識の性能を顕著に向上させることができるか？
• RQ2 品質感知スコアキャリブレーションは、発話期間が異なる場合においてもEERのばらつきを抑えるのにどの程度有効か？
• RQ3 対照的学習と反復的クラスタリングを組み合わせて生成された偽ラベルが、教師なしモデルが教師あり手法の性能に近づける程度はどの程度か？
• RQ4 VoxSRC-20における話者認識精度を最大化するための最適なクラスタ数は何か？
• RQ5 異なるアーキテクチャ的およびトレーニング戦略を用いてトレーニングされた複数のモデルを融合させることで、話者認識における一般化性能が向上するか？

主な発見

• 教師ありシステムは、元のVoxCeleb1テストセットで2.1%のEERを達成し、オープントラックおよびクローズドトラックの両方で1位となった。
• 教師なしシステムは、大規模ECAPA-TDNNを微調整した後、スコア平均化を実施し、VoxSRC-20テストセットで7.2%のEERを達成し、教師ありベースラインに非常に近い強力な性能を示した。
• 7.5Kのクラスタを用いた反復的クラスタリングが最良の性能を示し、VoxSRC-20バリデーションセットではEERを6.5%まで低下させ、初期の対照的モデル比で相対的に64%の改善を達成した。
• 対照的学習ベースラインは、VoxCeleb1で7.3%のEER、VoxSRC-20バリデーションセットで18.0%のEERを達成し、強力な自己教師付き表現学習を示した。
• 6秒クロップとマージンを拡大（0.5）した大マージン微調整は、品質感知キャリブレーションと組み合わせることで、一般化性能の向上に顕著に寄与した。
• 品質感知キャリブレーションにより、異なる発話期間タイプ間でのEERのばらつきが低減され、意思決定閾値のロバスト性が向上した。