[論文レビュー] Self-Supervised Speaker Verification with Simple Siamese Network and Self-Supervised Regularization

Mufan Sang, Haoqi Li+3 more|arXiv (Cornell University)|Dec 8, 2021

Speech Recognition and Synthesis被引用数 6

ひとこと要約

本論文は、負例ペアや複雑なアーキテクチャを避けるために、正例ペアのみを活用する画期的な自己教師付き正則化（SSReg）を用いた、シンプルなシames型ネットワークに基づく自己教師付き発話者検証フレームワークを提案する。強力なオンラインデータ拡張を組み合わせることで、SSRegはVoxCeleb1およびVox2で先行手法を上回る結果を達成し、23.4%の相対的EER低減を実現した。

ABSTRACT

Training speaker-discriminative and robust speaker verification systems without speaker labels is still challenging and worthwhile to explore. In this study, we propose an effective self-supervised learning framework and a novel regularization strategy to facilitate self-supervised speaker representation learning. Different from contrastive learning-based self-supervised learning methods, the proposed self-supervised regularization (SSReg) focuses exclusively on the similarity between the latent representations of positive data pairs. We also explore the effectiveness of alternative online data augmentation strategies on both the time domain and frequency domain. With our strong online data augmentation strategy, the proposed SSReg shows the potential of self-supervised learning without using negative pairs and it can significantly improve the performance of self-supervised speaker representation learning with a simple Siamese network architecture. Comprehensive experiments on the VoxCeleb datasets demonstrate that our proposed self-supervised approach obtains a 23.4% relative improvement by adding the effective self-supervised regularization and outperforms other previous works.

研究の動機と目的

• 大規模なラベル付きデータに依存せずに、判別的な発話者埋め込みを学習する自己教師付き発話者検証システムの開発。
• ラベルなしデータのみを用いて、モーメンタムエンコーダーや大規模な負例キューのような複雑なコンponentsに依存を最小限に抑えた、頑健な発話者表現の学習の挑戦への対処。
• 自己教師学習における正例ペアのみの正則化の有効性の探求。
• 強力なオンラインデータ拡張戦略と新規の正則化メカニズムを組み合わせることによる性能向上。

提案手法

• 同じ発話者からのランダムにスレッドされた音声クリップを正例ペアとして処理する、シames型ネットワークアーキテクチャに基づく自己教師学習フレームワークを提案。
• 負例ペアを使用せずに、正例ペアの潜在表現間の類似度を最大化する、新規の損失関数である自己教師付き正則化（SSReg）を導入。
• 耐性を高めるために、リバーブ、追加ノイズ、SpecAugment、スピード変更を組み合わせた強力なオンラインデータ拡張戦略を採用。
• 自己教師付きコントラスト学習損失とSSReg損失をバランスさせるために、学習可能な重みλを用い、統合目的関数を最適化。
• コントラスト学習とSSRegの組み合わせにより、エンドツーエンドでモデルを訓練し、発話者内一貫性に焦点を当てる。
• 敵対的学習、モーメンタムエンコーダー、動的キュー、偽ラベルのクラスタリングを回避し、トレーニングパイプラインを簡素化。

実験結果

リサーチクエスチョン

• RQ1 負例に依存せずに、正例ペアのみを用いて自己教師付き発話者表現学習を顕著に改善できるか？
• RQ2 コントラスト学習手法と比較して、自己教師付き正則化（SSReg）を備えたシンプルなシames型ネットワークは、発話者検証においてどの程度有効か？
• RQ3 異なるオンラインデータ拡張戦略が、自己教師付き発話者埋め込み性能に与える影響は何か？
• RQ4 モーメンタムエンコーダーや大規模な負例キューを用いる複雑なモデルと比較して、軽量なアーキテクチャにSSRegを適用した場合、性能が上回れるか？

主な発見

• 提案手法はVoxCeleb1テストセットで6.99%のEERを達成し、正則化なしのベースラインと比較して23.4%の相対的改善を示した。
• SSReg単体でもコントラスト損失なしにEERを14.50%まで低減させ、正例ペアのみの正則化の有効性を実証した。
• 最良の性能はλ = 0.08の設定で得られ、EERは6.99%、minDCFは0.434を記録。これはMoCo+WavAug（8.63% EER）およびMoCo+WavAug（ProtoNCE）（8.23% EER）を上回った。
• AP+AAT、AP+Ch、Disent、CDDL、GCL、i-vectorといった最先端の手法と比較して、15.6%から19.2%の相対的EER低減を達成した。
• R+N+SpecAug+Speedの組み合わせ拡張が最良の性能を示し、Vox1では9.22%のEERを記録した。これは多様なデータ拡張の重要性を示している。
• アブレーションスタディにより、SSRegはモーメンタムエンコーダーや大規模な負例キューがなくても有効であることが確認され、その頑健さとシンプルさが裏付けられた。