[論文レビュー] SJTU-AISPEECH System for VoxCeleb Speaker Recognition Challenge 2022

Zhengyang Chen, Bing Han+4 more|arXiv (Cornell University)|Sep 19, 2022

Speech Recognition and Synthesis被引用数 4

ひとこと要約

本論文は、VoxCeleb 2022 スピーカー認識チャレンジのための SJTU-AISPEECH システムを提示する。本システムは、自己教師ありおよび半教師ありの目的関数を用いて、共同で訓練されたソースドメインおよびターゲットドメインデータを用いたドメイン適応戦略を導入している。動的損失ゲートとラベル補正（DLG-LC）を用いて偽ラベルを精緻化し、モデル融合により、トラック1で3位、トラック3で4位を達成した。

ABSTRACT

This report describes the SJTU-AISPEECH system for the Voxceleb Speaker Recognition Challenge 2022. For track1, we implemented two kinds of systems, the online system and the offline system. Different ResNet-based backbones and loss functions are explored. Our final fusion system achieved 3rd place in track1. For track3, we implemented statistic adaptation and jointly training based domain adaptation. In the jointly training based domain adaptation, we jointly trained the source and target domain dataset with different training objectives to do the domain adaptation. We explored two different training objectives for target domain data, self-supervised learning based angular proto-typical loss and semi-supervised learning based classification loss with estimated pseudo labels. Besides, we used the dynamic loss-gate and label correction (DLG-LC) strategy to improve the quality of pseudo labels when the target domain objective is a classification loss. Our final fusion system achieved 4th place (very close to 3rd place, relatively less than 1%) in track3.

研究の動機と目的

• VoxCeleb スピーカー認識チャレンジ 2022 に向け、ドメインシフトの条件下でも頑健なスピーク検証システムを開発すること。
• ターゲットドメインデータに対して自己教師ありおよび半教師ありの訓練目的関数を活用することで、トラック3におけるゼロショットドメイン適応性能を向上させること。
• 弱教師あり設定において、動的損失ゲートとラベル補正（DLG-LC）戦略を用いて偽ラベルの品質を向上させること。
• モデル統合を用いて、クローズドセット（トラック1）およびオープンセットドメイン適応（トラック3）の両トラックで最先端の性能を達成すること。
• 教師ありおよびドメイン適応の状況下で、さまざまな ResNet ベースのバックボーンと損失関数の有効性を調査すること。

提案手法

• トラック1のための2つのシステムを実装：リアルタイムデータオーグメンテーションを用いたオンラインシステムと、速度変更およびノイズ/リバーブを含む事前オーグメンテーションを多用したオフラインシステム。
• オンラインシステムには ResNet および Res2Net バックボーンを用い、マルチクエリマルチヘッドアテンションプーリング（MQMHA）を適用。オフラインシステムには統計プーリングを適用。
• 段階的訓練を実施：オンラインでは AAM + K-サブセンター + インタートップK損失で事前学習し、その後マージンを拡大した大マージン微調整を実施。オフラインでは AM + K-サブセンターで事前学習。
• トラック3では、統計的適応を適用し、ソースドメインとターゲットドメインのデータを共同で訓練。2つの目的関数を用いる：角的プロトタイプ損失（自己教師あり）および偽ラベルを用いた分類損失。
• 半教師あり訓練中にノイズの多い偽ラベルをフィルタリングするため、動的損失ゲートとラベル補正（DLG-LC）戦略を導入し、ラベル品質を向上。
• 異なるバックボーンおよび適応戦略から得た複数のモデルを統合し、最終出力としての提出を実現。コサインスコア、適応的スコア正規化、スコアキャリブレーションを用いた。

実験結果

リサーチクエスチョン

• RQ1 クローズドセットスピーク検証（トラック1）において、さまざまな ResNet ベースのバックボーンと損失関数は性能にどのように影響を与えるか？
• RQ2 異なる目的関数を用いてソースドメインとターゲットドメインのデータを共同で訓練することで、スピーク認識におけるドメイン適応性能が向上するか？
• RQ3 半教師ありドメイン適応の過程で、DLG-LC 戦略は偽ラベルの品質向上にどの程度有効か？
• RQ4 複数のヘッドではなく、1つの分類ヘッドを用いてドメイン間で統合して訓練することで、より優れた分離可能な埋め込みが得られるか？
• RQ5 統計的適応、as-norm、スコアキャリブレーションなどのバックエンド処理手法は、ドメイン適応性能にどのような影響を与えるか？

主な発見

• オフラインシステムは、EER と同等の水準で、オンラインシステム（0.1375）よりも優れた minDCF（0.1029）を達成しており、データオーグメンテーションの恩恵が性能向上に寄与していることが示された。
• 7つのシステムの統合により、トラック1の検証セットで EER 1.457%、minDCF 0.1029 を達成し、3位を獲得した。
• 1つの分類ヘッドを用いた OCL 戦略は、2つのヘッドを用いた TCL 戦略を上回り、トラック3で EER 8.095%、minDCF 0.3696 を達成した。
• DLG-LC 戦略により TCL 法が著しく向上し、EER が 9.320% から 9.060%、minDCF が 0.4254 から 0.4180 に改善された。
• 最終の統合システムは、トラック3の検証セットで EER 7.135%、minDCF 0.3290 を達成し、4位（3位と1%以内）を獲得した。
• スコアキャリブレーションにより EER は 9.950% に低下したが、minDCF は劣化した。これにより、両指標のトレードオフが生じたため、最終出力では as-norm とスコアキャリブレーションを併用した。