[論文レビュー] Exploring wav2vec 2.0 on speaker verification and language identification

Zhiyun Fan, Meng Li+2 more|arXiv (Cornell University)|Dec 11, 2020

Speech Recognition and Synthesis参考文献 30被引用数 13

ひとこと要約

この論文は、自己教師あり事前学習を用いたwav2vec 2.0の発話者認証（SV）および言語識別（LID）への応用を検討している。wav2vec 2.0は、タスク固有の事前学習を経ずに、発話者および言語の判別可能な表現を学習できることを示しており、発話者認証ではVoxCeleb1で3.61%という新たなSOTAのEERを達成し、LIDでは全長音声のAP17-OLRで3.47%を達成している。統合的マルチタスクモデルによりパラメータ数を削減しながらも、高い性能を維持している。

ABSTRACT

Wav2vec 2.0 is a recently proposed self-supervised framework for speech representation learning. It follows a two-stage training process of pre-training and fine-tuning, and performs well in speech recognition tasks especially ultra-low resource cases. In this work, we attempt to extend self-supervised framework to speaker verification and language identification. First, we use some preliminary experiments to indicate that wav2vec 2.0 can capture the information about the speaker and language. Then we demonstrate the effectiveness of wav2vec 2.0 on the two tasks respectively. For speaker verification, we obtain a new state-of-the-art result, Equal Error Rate (EER) of 3.61% on the VoxCeleb1 dataset. For language identification, we obtain an EER of 12.02% on 1 second condition and an EER of 3.47% on full-length condition of the AP17-OLR dataset. Finally, we utilize one model to achieve the unified modeling by the multi-task learning for the two tasks.

研究の動機と目的

• wav2vec 2.0の自己教師あり事前学習が、タスク固有の監視なしに、発話者および言語情報を判別可能な表現として捉えられるかどうかを調査すること。
• wav2vec 2.0を発話者認証および言語識別タスクに微調整した場合の有効性を評価すること。
• 1つの統合モデルで発話者認証（SV）と言語識別（LID）を同時に最適化することで、モデルの複雑さと学習コストを低減すること。
• 大規模なラベルなし音声データに対する問題に依存しない事前学習が、発話者および言語関連タスクに強力な表現をもたらすことを示すこと。

提案手法

• 大規模なラベルなし音声データを用いて、畳み込みニューラルネットワーク（CNN）エンコーダ、トランスフォーマー文脈ネットワーク、およびベクトル量子化コードブックを備えたwav2vec 2.0モデルを、対比的予測コーディング（contrastive predictive coding）により事前学習する。
• 事前学習済みw2vエンコーダから文脈表現を抽出し、t-SNEを用いて可視化することで、発話者および言語の判別可能性を評価する。
• VoxCeleb1における発話者認証およびAP17-OLRにおける言語識別タスクに、タスク固有のヘッド（全結合層）を追加して、事前学習済みw2vエンコーダを微調整する。
• 共有されたw2vエンコーダの上に2つの並列分類ヘッドを追加し、発話者認証（SV）と言語識別（LID）を同時に予測するマルチタスク学習の設定を実装する。重み付き損失関数を用いる。
• 微調整の際には、学習率のウォームアップと線形減衰スケジュールを適用し、エンコーダの初期重みを固定することで学習の安定化を図る。
• テストセットにおける等誤り率（Equal Error Rate, EER）を用いて性能を評価し、i-vector + PLDA や TDNN などのベースラインと比較する。

Fig. 1 : An overview of the pre-training and fine-tuning. The models architecture used in pre-training stage and fine-tuning stage are identical, except the quantization modules and extra output layers.

実験結果

リサーチクエスチョン

• RQ1 wav2vec 2.0の自己教師あり事前学習は、タスク固有の監視なしに、発話者および言語の判別可能な表現を学習できるか？
• RQ2 既存のSOTA手法と比較して、wav2vec 2.0は発話者認証および言語識別タスクでどの程度の性能を示すか？
• RQ3 1つの統合モデルをマルチタスク学習で学習させることで、パラメータ数を削減しつつ、発話者認証と言語識別を効果的に処理できるか？
• RQ4 言語識別において、低リソース環境で事前学習が過学習を緩和するか？

主な発見

• 事前学習済みwav2vec 2.0モデルは、発話者認証タスクにおいてVoxCeleb1で3.61%という新たなSOTAのEERを達成した。
• 言語識別タスクでは、AP17-OLRデータセットの1秒条件で12.02%、全長条件で3.47%のEERを達成した。
• 可視化結果から、事前学習済みモデルの低層部が、タスク固有の事前学習なしでも、発話者および言語の判別性を強く示していることが確認された。
• マルチタスク学習モデルは、発話者認証で4.18%、言語識別で4.88%のEERを達成し、パラメータ数を削減しながらも効果的な統合モデリングを実現した。
• 事前学習モデルからの微調整は、特にLIDの低リソース環境において、学習から開始する場合と比較して過学習を顕著に低減した。
• LIDタスクにおいて、事前学習済みモデルと非事前学習モデルとの性能差は顕著であり、自己教師あり事前学習の大きな利点が示された。