[論文レビュー] The JHU submission to VoxSRC-21: Track 3

Jaejin Cho, Jesús Villalba+1 more|arXiv (Cornell University)|Sep 28, 2021

Speech Recognition and Synthesis参考文献 19被引用数 11

ひとこと要約

本論文は、初期モデルの事前学習に非対照的DINO手法を用いた自己教師付き発話者検証システムを提示する。その後、疑似ラベル付けと頑健な学習を繰り返し行い、Res2Net50で訓練する。本手法は、VoxCeleb1-O、VoxSRC-21の検証およびテストセットでそれぞれ1.91%、6.32%、6.64%のEERを達成し、対照的学習のベースラインを上回り、優れた初期埋め込みにより反復的クラスタリングのステップ数を削減した。

ABSTRACT

This technical report describes Johns Hopkins University speaker recognition system submitted to Voxceleb Speaker Recognition Challenge 2021 Track 3: Self-supervised speaker verification (closed). Our overall training process is similar to the proposed one from the first place team in the last year's VoxSRC2020 challenge. The main difference is a recently proposed non-contrastive self-supervised method in computer vision (CV), distillation with no labels (DINO), is used to train our initial model, which outperformed the last year's contrastive learning based on momentum contrast (MoCo). Also, this requires only a few iterations in the iterative clustering stage, where pseudo labels for supervised embedding learning are updated based on the clusters of the embeddings generated from a model that is continually fine-tuned over iterations. In the final stage, Res2Net50 is trained on the final pseudo labels from the iterative clustering stage. This is our best submitted model to the challenge, showing 1.89, 6.50, and 6.89 in EER(%) in voxceleb1 test o, VoxSRC-21 validation, and test trials, respectively.

研究の動機と目的

• 非対照的自己教師付き学習（SSL）が発話者検証における発話者埋め込み学習に効果を発揮するかを評価すること。特にDINOを用いること。
• DINO事前学習により初期モデルの品質を向上させることで、疑似ラベル付けパイプラインにおける反復的クラスタリングステップ数を削減すること。
• 短い発話に対する頑健な学習を、セグメント長とマージンチューニングを用いて大規模モデルで最適化すること。
• 事前学習段階で発話者ラベルを使用せずに、VoxSRC-21 Track 3で最先端の性能を達成すること。
• 4秒未満の短いテスト発話の課題に対処するため、最適なトレーニングセグメント長を選択すること。

提案手法

• 同じサンプルの増強されたビュー間の一致を最大化する非対照的SSL手法DINOを用いて、初期発話者埋め込みモデルを事前学習する。負例のマイニングを必要としない。
• 教師-生徒知識蒸留フレームワークを採用し、教師ネットワークに指数移動平均更新を適用し、中心化と鋭化を用いて退化解の発生を防止する。
• DINOで学習した埋め込みを用いて、k=7500クラスタで反復的クラスタリングにより疑似ラベルを生成し、数エポックごとにラベルを更新する。
• AAM損失を用いて、初期マージンを0から20エポックにわたり0.3に段階的に増加させるResNet34モデルを、疑似ラベル付けされた埋め込みを精緻化するために訓練する。
• 最終的な疑似ラベルに基づき、マージンスケジューリングを用いてより大きなRes2Net50モデルを微調整する。セグメント長とマージンハイパーパrameterを調整して、より長いトレーニングセグメントへの過学習を回避する。
• テスト発話の短い持続時間に適合させるために、4秒ではなく3秒のチャンクを用いて、大マージン微調整を最適化する。

実験結果

リサーチクエスチョン

• RQ1 非対照的自己教師付き学習（DINO）は、MoCoのような対照的手法よりも発話者埋め込み学習における発話者検証で優れた性能を発揮するか？
• RQ2 DINOを初期事前学習手法として用いることで、疑似ラベル付けパイプラインにおける反復的クラスタリングステップ数が減少するか？
• RQ3 大マージン微調整段階でのトレーニングセグメント長の選択が、VoxSRC-21における短いテスト発話の性能に与える影響はいかほどか？
• RQ4 マージンスケジューリングを用いて微調整した大規模モデル（Res2Net50）は、短い発話を含む未学習のテストセットにおける一般化性能を向上させるか？
• RQ5 DINOから得られる初期埋め込みの品質は、MoCoベースのベースラインと比較して、より優れた下流性能をもたらすか？

主な発見

• DINO事前学習により、VoxCeleb1-Oで4.83%のEERを達成し、MoCo（7.3%）を上回り、広範な反復的クラスタリングの必要性が低下した。
• 反復的クラスタリング段階はわずか4反復で収束し、VoxCeleb1-OではEERが2.13%、VoxSRC-21検証では6.88%に安定した。
• 3秒のチャンクとマージンチューニングを用いたRes2Net50における頑健な学習により、VoxCeleb1-Oで1.91%、VoxSRC-21検証で6.32%、テストで6.64%のEERを達成した。
• 大マージン微調整に4秒のチャンクを使用した場合、テスト性能が低下（EER 7.23%）し、より長いセグメントへの過学習が示された。
• 最終システムはVoxSRC-21 Track 3で最先端の性能を達成し、締切後に提出された最良の提出（EER 6.64%）を上回った。
• 初期バックボーンとしてDINOを用いることで、埋め込み品質が著しく向上し、短い発話においても収束が速く、一般化性能が向上した。