[論文レビュー] Learning Speaker Embedding with Momentum Contrast

Ke Ding, Xuanji He+1 more|arXiv (Cornell University)|Jan 7, 2020

Speech Recognition and Synthesis参考文献 18被引用数 8

ひとこと要約

本論文では、音声確認における教師なしおよび自己教師あり学習のための発話者埋め込みの学習にモーメンタムコントラスト（MoCo）を提案する。SpecAugmentに基づくデータ拡張を適用することで、MoCoは、標準的な交差エントロピー事前学習を上回る判別性の高い発話者表現を学習し、下流タスクでの微調整時に13.7%の相対的EER改善を達成する。

ABSTRACT

Speaker verification can be formulated as a representation learning task, where speaker-discriminative embeddings are extracted from utterances of variable lengths. Momentum Contrast (MoCo) is a recently proposed unsupervised representation learning framework, and has shown its effectiveness for learning good feature representation for downstream vision tasks. In this work, we apply MoCo to learn speaker embedding from speech segments. We explore MoCo for both unsupervised learning and pretraining settings. In the unsupervised scenario, embedding is learned by MoCo from audio data without using any speaker specific information. On a large scale dataset with $2,500$ speakers, MoCo can achieve EER $4.275\%$ trained unsupervisedly, and the EER can decrease further to $3.58\%$ if extra unlabelled data are used. In the pretraining scenario, encoder trained by MoCo is used to initialize the downstream supervised training. With finetuning on the MoCo trained model, the equal error rate (EER) reduces $13.7\%$ relative ($1.44\%$ to $1.242\%$) compared to a carefully tuned baseline training from scratch. Comparative study confirms the effectiveness of MoCo learning good speaker embedding.

研究の動機と目的

• モーメンタムコントラスト（MoCo）が、発話者ラベルなしで発話者判別性の高い埋め込みを効果的に学習できるかどうかを調査すること。
• MoCoを下流の教師あり発話者確認システムの事前学習手法として評価すること。
• 下流のパフォーマンスの観点から、MoCo事前学習と従来の交差エントロピー事前学習を比較すること。
• 追加の教師なしデータがMoCoの表現学習能力に与える影響を評価すること。

提案手法

• 同じ発話音声の増幅版を正例対として使用する二重ブランチエンコーダーとモーメンタム更新されたキーを用いて、音声分野にMoCoを適応する。
• 同じ音声セグメントから正例対を生成するために、SpecAugmentに基づくデータ拡張を適用し、対照的学習を可能にする。
• 学習の安定化と表現品質の向上のため、動的キューを負例キーデータとして維持する。
• アンカーとキー表現間のドット積類似度（コサイン類似度）に基づく対照的損失を使用する。
• 教師あり下流学習のため、MoCoで学習したエンコーダーをAAM（加法的角マージン）損失で微調整する。
• 自社データおよびVoxCelebデータセットを活用して、さまざまな設定下での教師なしおよび事前学習パフォーマンスを評価する。

実験結果

リサーチクエスチョン

• RQ1 MoCoは、発話者アイデンティティの監視なしに、教師なしで効果的な発話者埋め込みを学習できるか？
• RQ2 標準的な交差エントロピー事前学習と比較して、MoCo事前学習は下流の発話者確認パフォーマンスを向上させるか？
• RQ3 追加の教師なしデータの含め方が、MoCoの発話者埋め込み学習パフォーマンスに与える影響は何か？
• RQ4 MoCoで学習した表現は、AAMのような現代的な判別的損失関数と互換性があるか？
• RQ5 EERおよびminDCF指標の観点から、MoCoは従来のi-vectorおよびx-vectorベースラインと比較してどうか？

主な発見

• 教師なし設定では、2,500人の発話者を含むデータセットでMoCoはEER 4.275%を達成し、追加の教師なしデータを用いることで3.58%に改善した。
• 事前学習手法として使用した場合、MoCoはAAM損失で微調整された際、同じデータセットでEERを1.44%から1.242%に低下させ（相対改善13.7%）、性能を向上させた。
• 交差エントロピー事前学習は、下流のAAM学習を向上させず、むしろ性能を低下させる可能性があるが、MoCo事前学習はそのような問題を回避した。
• VoxCeleb1データセットでは、MoCo事前学習によりEERが2.402%に低下し、CE事前学習および標準AAMモデルを上回った。
• MoCoで学習した表現は一般化性が高く、さまざまな評価プロトコルおよびバックエンドで一貫した改善を示した。
• minDCF 0.01およびminDCF 0.001の指標においても、MoCo事前学習による性能向上は一貫しており、誤警報と誤拒否のトレードオフに対する頑健性が確認された。