[論文レビュー] Semi-Supervised Contrastive Learning with Generalized Contrastive Loss and Its Application to Speaker Recognition

Nakamasa Inoue, Keita Goto|arXiv (Cornell University)|Jun 8, 2020

Speech Recognition and Synthesis参考文献 25被引用数 29

ひとこと要約

本論文は、テキスト独立型話者認証のための統一的半教師付き対照学習フレームワークを提案する。一般化対照損失（GCL）を用いることで、教師ありメトリクス学習と教師なし対照学習を1つの損失関数に統合し、アーキテクチャや損失関数の変更なしに教師あり、半教師あり、教師なしの学習設定で効果的な学習が可能になる。VoxCelebデータセットにおいて、半教師あり学習ではEERが6.01%、教師なし学習では15.26%を達成し、視覚的データを用いない先行する教師なし手法を上回る性能を発揮した。

ABSTRACT

This paper introduces a semi-supervised contrastive learning framework and its application to text-independent speaker verification. The proposed framework employs generalized contrastive loss (GCL). GCL unifies losses from two different learning frameworks, supervised metric learning and unsupervised contrastive learning, and thus it naturally determines the loss for semi-supervised learning. In experiments, we applied the proposed framework to text-independent speaker verification on the VoxCeleb dataset. We demonstrate that GCL enables the learning of speaker embeddings in three manners, supervised learning, semi-supervised learning, and unsupervised learning, without any changes in the definition of the loss function.

研究の動機と目的

• 教師ありメトリクス学習と教師なし対照学習を統合する一貫したフレームワークを、半教師あり学習のために構築すること。
• 教師あり、半教師あり、教師なしの3つの学習パラダイムを、変更なしに自然にサポートする損失関数を開発すること。
• 事前学習モデルやビデオなどの補助信号を用いず、ラベルなしデータを活用して話者認証の性能を向上させること。
• 現実の話者認識で一般的な低リソースなラベル付きデータ環境におけるGCLの有効性を評価すること。

提案手法

• 提案されたフレームワークは、教師ありメトリクス学習と教師なし対照学習を1つの目的関数に統合する一般化対照損失（GCL）を用いる。
• GCLは、埋め込み間のコサイン類似度に基づく類似度損失項を定義し、学習可能なスケーリングおよびシフトパラメータを備える：$ s(\mathbf{z}, \mathbf{z}^\prime) = \exp(\gamma \cos(\mathbf{z}, \mathbf{z}^\prime) + \beta) $。
• 損失関数は正例ペアと負例ペアの両方を含み、ペアが同一話者（1）か異なる話者（0）かを示すラベルに基づき、ラベルの信頼度に応じた適切な損失重みを割り当てる。
• 半教師あり学習では、通常、ラベルなしサンプルを負例ペアとして扱い、すべての設定で一貫したラベル付け戦略を採用する。
• データオーグメンテーション（MUSAN、RIR）を適用して、ラベルなし発話から正例ペアを生成し、ラベルなしで対照学習を可能にする。
• モデルは、40次元のフィルタバンク特徴量を入力とし、ResNet18アーキテクチャを用い、GCLでエンドツーエンドに訓練する。

実験結果

リサーチクエスチョン

• RQ1 1つの損失関数が、話者埋め込み学習における教師あり、半教師あり、教師なし学習を効果的にサポートできるか？
• RQ2 事前学習モデルや補助データ（例：顔画像）を用いない状況で、GCLに基づくフレームワークは半教師あり話者認証でどの程度の性能を発揮するか？
• RQ3 低リソースなラベル付きデータ環境において、ラベルなしデータが性能向上にどの程度寄与するか？
• RQ4 視覚的監視なしで、GCLベースの手法は最先端の教師なしおよび半教師あり話者認証手法と比較してどの程度優れているか？

主な発見

• 提案されたGCLフレームワークは、VoxCelebにおける半教師あり話者認証で等誤差率（EER）6.01%を達成し、事前学習されたASRモデルを用いた先行手法と同等の性能を発揮した。
• 教師なし学習では、EERが15.26%を達成し、顔画像を監視信号として用いた[19]のクロスモodal自己教師学習手法を上回った。
• フレームワークは、損失関数やネットワークアーキテクチャの変更なしに、教師あり、半教師あり、教師なしの3つの学習モードで一貫した学習を可能にした。
• ラベル付きデータが限られる状況で性能向上が顕著に見られ、低リソース環境におけるラベルなしデータの有効性を示した。
• データオーグメンテーションなしの教師あり学習でもEERが2.56%を達成したが、AM-Softmaxとファインチューニングを用いた1.81%のEERには及ばなかった。