[論文レビュー] Self-Supervised Learning with Cluster-Aware-DINO for High-Performance Robust Speaker Verification

Bing Han, Zhengyang Chen+1 more|arXiv (Cornell University)|Apr 12, 2023

Speech Recognition and Synthesis被引用数 4

ひとこと要約

本稿では、負例ペairに依存しないDINO蒸留目的を活用し、クラスターアウェアトレーニングとラベル補正を伴う動的損失ゲート（DLG-LC）により、堅牢性を向上させる自己教師付き発話者検証フレームワークであるCluster-Aware DINO（CA-DINO）を提案する。VoxCelebにおいて最先端の性能を達成し、人為的ラベルを一切使用しない設定でも完全に教師ありのシステムを上回る結果を示している。

ABSTRACT

Automatic speaker verification task has made great achievements using deep learning approaches with the large-scale manually annotated dataset. However, it's very difficult and expensive to collect a large amount of well-labeled data for system building. In this paper, we propose a novel and advanced self-supervised learning framework which can construct a high performance speaker verification system without using any labeled data. To avoid the impact of false negative pairs, we adopt the self-distillation with no labels (DINO) framework as the initial model, which can be trained without exploiting negative pairs. Then, we introduce a cluster-aware training strategy for DINO to improve the diversity of data. In the iteration learning stage, due to a mass of unreliable labels from clustering, the quality of pseudo labels is important for the system training. This motivates us to propose dynamic loss-gate and label correction (DLG-LC) methods to alleviate the performance degradation caused by unreliable labels. More specifically, we model the loss distribution with GMM and obtain the loss-gate threshold dynamically to distinguish the reliable and unreliable labels. Besides, we adopt the model predictions to correct the unreliable label, for better utilizing the unreliable data rather than dropping them directly. Moreover, we extend the DLG-LC to multi-modality to further improve the performance. The experiments are performed on the commonly used Voxceleb dataset. Compared to the best-known self-supervised speaker verification system, our proposed method obtain 22.17%, 27.94% and 25.56% relative EER improvement on Vox-O, Vox-E and Vox-H test sets, even with fewer iterations, smaller models, and simpler clustering methods. More importantly, the newly proposed system even achieves comparable results with the fully supervised system, but without using any human labeled data.

研究の動機と目的

• 大規模かつ高品質なラベル付き発話者検証データセットの高コストと希少性に対処し、完全に自己教師付き学習を可能にする。
• 自己教師付きSVにおける対照学習の限界、特に複数発話間の発話者不一致に起因する誤った負例ペアを克服する。
• クラスタリングの信頼性が低い状況下でも、偽ラベルの品質を向上させることで、反復的自己教師付き学習におけるモデルの堅牢性と性能を向上させる。
• 高度な損失関数とラベル処理を用いて、自己教師付きと完全に教師ありの発話者検証システム間の性能差を縮小する。

提案手法

• 負例ペアの必要性を排除し、明示的な対照的目的を不要にするため、初期の事前学習段階としてDINO自己蒸留フレームワークを採用する。
• 複数の発話から同一発話者クラスタに属する正例を収集することで、クラスターアウェアトレーニングを導入し、データの多様性と表現品質を向上させる。
• 損失分布をガウス・ミクスチャ・モデル（GMM）でモデル化することで、信頼性の低い偽ラベル付きサンプルを特定・フィルタリングする動的損失ゲート（DLG）機構を実装する。
• 信頼性の低い偽ラベルをモデル予測の事後分布に置き換えることで、情報損失を回避し、データ損失を防ぐラベル補正（LC）を適用する。
• 反復的学習中に音声と視覚特徴を統合するマルチモodal学習へDLG-LCフレームワークを拡張し、さらに堅牢性と精度を向上させる。
• 512チャネルの軽量ECAPA-TDNN-Smallモデル（2–3イテレーション）を用い、単純なアーキテクチャとクラスタリングにもかかわらず高い性能を達成する。

実験結果

リサーチクエスチョン

• RQ1 人為的ラベルや大規模な教師ありデータに依存せずに、自己教師付き発話者検証システムが最先端の性能を達成できるか？
• RQ2 DINO自己蒸留フレームワークを、負例ペアが存在しない状況で発話者表現学習を向上させるためにどのように適応できるか？
• RQ3 複数の発話にわたる発話者内多様性を活用することで、クラスターアウェアトレーニングがモデルの一般化性能をどの程度向上できるか？
• RQ4 動的損失ゲーティングとラベル補正は、反復的自己教師付き学習におけるノイズや信頼性の低い偽ラベルによる性能低下を顕著に緩和できるか？
• RQ5 音声と視覚特徴のマルチモーダル統合は、自己教師付きと完全に教師ありの発話者検証システム間の性能差をさらに縮小できるか？

主な発見

• 提案されたCA-DINO + DLG-LCフレームワークは、最高の既知の自己教師付きシステムと比較して、Vox-O、Vox-E、Vox-Hのテストセットでそれぞれ22.17%、27.94%、25.56%の相対的EER改善を達成した。
• 2–3イテレーションと小型のECAPA-S（Small）モデルでさえ、より大きなモデルと多数のイテレーションを用いた先行SOTAシステムを上回った。
• 真のラベルを一切使用しなかったにもかかわらず、VoxCelebにおいて完全に教師ありのECAPA-TDNN-Smallモデルと同等の性能を達成した。
• DLG-LCフレームワークにおける音声と視覚特徴のマルチモーダル統合により、Vox-Oで1.191%のEERを達成し、公平な比較のための適応的s-normを用いた完全に教師ありベースライン（1.010%）を上回った。
• 損失ヒストограмのGMMモデリングに基づく動的損失ゲート機構は、信頼性の低い偽ラベル付きサンプルを効果的に特定・フィルタリングし、学習の安定性と精度を向上させた。
• モデルの事後分布推定によるラベル補正は、誤ったラベルによる性能低下を防止し、単純なデータプリーニング戦略を上回る性能を示した。