[論文レビュー] Robust Speaker Recognition with Transformers Using wav2vec 2.0

Sergey Novoselov, Galina Lavrentyeva+3 more|arXiv (Cornell University)|Mar 28, 2022

Speech Recognition and Synthesis被引用数 11

ひとこと要約

この論文は、TDNNおよび統計プーリングバックエンドでファインチューニングされたwav2vec 2.0事前学習モデルを用いた耐障害性の高い発話者認識システムを提案し、多様なデータセットで最先端の性能を達成した。データ拡張を用いて小規模でクリーンなデータセットでファインチューニングすることで、特に電話回線およびクロスチャネル条件において優れた一般化性能を示し、VoxCeleb1-OではEERが0.69%、SRE 2019では1.71%を達成した。

ABSTRACT

Recent advances in unsupervised speech representation learning discover new approaches and provide new state-of-the-art for diverse types of speech processing tasks. This paper presents an investigation of using wav2vec 2.0 deep speech representations for the speaker recognition task. The proposed fine-tuning procedure of wav2vec 2.0 with simple TDNN and statistic pooling back-end using additive angular margin loss allows to obtain deep speaker embedding extractor that is well-generalized across different domains. It is concluded that Contrastive Predictive Coding pretraining scheme efficiently utilizes the power of unlabeled data, and thus opens the door to powerful transformer-based speaker recognition systems. The experimental results obtained in this study demonstrate that fine-tuning can be done on relatively small sets and a clean version of data. Using data augmentation during fine-tuning provides additional performance gains in speaker verification. In this study speaker recognition systems were analyzed on a wide range of well-known verification protocols: VoxCeleb1 cleaned test set, NIST SRE 18 development set, NIST SRE 2016 and NIST SRE 2019 evaluation set, VOiCES evaluation set, NIST 2021 SRE, and CTS challenges sets.

研究の動機と目的

• エンドツーエンドのファインチューニングを用いて、wav2vec 2.0表現が発話者認識にどの程度有効であるかを調査すること。
• トランスフォーマー層の選択とデータ拡張が、ドメインをまたがるモデルの一般化性能に与える影響を評価すること。
• 複数の標準ベンチマークで、wav2vec 2.0ベースのモデルと従来のResNetおよびECAPA-TDNNベースラインの性能を比較すること。
• 自己教師学習による事前学習を用いる場合、小規模でクリーンなトレーニングデータセットが、強力な発話者埋め込み学習に十分であるかどうかを特定すること。
• wav2vec 2.0のような強力な事前学習モデルを用いる場合、複雑なバックエンドやフロントエンドの必要性を評価すること。

提案手法

• マージンm=0.35、スケーリングs=32を用いた追加的角マージン（AAM-Softmax）損失を用いて、大規模な多言語wav2vec 2.0モデル（XLS-R-1BおよびXLSR-53）をファインチューニングした。
• 選択されたwav2vec 2.0エンコーダー層からの固定次元の発話者埋め込みを抽出するために、TDNNおよび統計プーリングバックエンドを用いた。
• XLSR-53モデルの6番目の層とXLS-R-1Bモデルの12番目の層を、エンコーダー全体の使用を避けるために発話者認識に最適と判断した。
• 耐障害性を向上させるために、ファインチューニング中にオンラインデータ拡張（例：速度変更、ノイズ注入）を適用した。
• 最初に短い発話（4–6秒）で学習し、その後より長いセグメント（12–18秒）でファインチューニングすることで、一般化性能を向上させた。
• ワンサイクル学習率スケジューリングとU-NetベースのVADを用いた平均正規化をフロントエンド処理に使用した。

実験結果

リサーチクエスチョン

• RQ1 wav2vec 2.0表現は、最小限の教師信号と小規模なデータセットで効果的にファインチューニング可能か？
• RQ2 wav2vec 2.0のトランスフォーマー・エンコーダー層の中で、発話者埋め込み抽出の性能と計算コストのバランスを最適化する層はどれか？
• RQ3 ファインチューニング中にデータ拡張を適用することで、リソースが限られた環境やクロスドメイン設定での耐障害性が向上するか？
• RQ4 wav2vec 2.0ベースのシステムの性能は、ResNet101 や ECAPA-TDNN といった強力なベースラインと比較して、多様な評価プロトコルでどの程度か？
• RQ5 トランスフォーマーに基づくモデルで強力な発話者認識性能を達成するには、対照的予測コーディングによる自己教師学習が不可欠か？

主な発見

• wav2vec-TDNN(XLSR-53)モデルは、VoxCeleb1-O（クリーニング済み）テストセットでEER 0.69%を達成し、ベースラインモデルを上回った。
• wav2vec-TDNN(XLS-R_1B)モデルは、NIST SRE 2019評価セットでEER 1.71%を達成し、強力なクロスドメイン一般化性能を示した。
• XLSR-53の6番目の層とXLS-R_1Bの12番目の層を使用することで、より深い層と同等の性能を得られ、計算コストを削減したが性能の損失はなかった。
• ファインチューニング中にデータ拡張を適用することで、特にリソースが限られた場合や電話回線・クロスチャネルセットでの性能が顕著に向上した。
• 小規模でクリーンなデータセット（例：VC1の1211人の発話者）でファインチューニングすることで、最先端の結果が得られ、自己教師学習による事前学習からのゼロショット一般化の強さが示された。
• wav2vec 2.0でトレーニングを初期から行うことは失敗に終わり、大規模なラベルなしデータによる事前学習が、効果的な発話者埋め込み学習に不可欠であることが確認された。