[論文レビュー] Large-scale Self-Supervised Speech Representation Learning for Automatic Speaker Verification

Zhengyang Chen, Sanyuan Chen+6 more|arXiv (Cornell University)|Oct 12, 2021

Speech Recognition and Synthesis被引用数 9

ひとこと要約

本論文では、事前学習モデル（Wav2Vec2.0、HuBERT、UniSpeech-SAT）の全隠れ層からの自己教師あり音声表現の重み付き平均プーリングを用いて、ECAPA-TDNNを用いた自動発話者認証（ASV）を改善する手法を提案する。この手法は、VoxCeleb1-Eで0.537%のEERを達成し、同試行でVoxSRC2021コンテスト優勝者を上回り、事前学習モデルの低層に高層よりも顕著な発話者判別情報が含まれていることを示している。

ABSTRACT

The speech representations learned from large-scale unlabeled data have shown better generalizability than those from supervised learning and thus attract a lot of interest to be applied for various downstream tasks. In this paper, we explore the limits of speech representations learned by different self-supervised objectives and datasets for automatic speaker verification (ASV), especially with a well-recognized SOTA ASV model, ECAPA-TDNN [1], as a downstream model. The representations from all hidden layers of the pre-trained model are firstly averaged with learnable weights and then fed into the ECAPA-TDNN as input features. The experimental results on Voxceleb dataset show that the weighted average representation is significantly superior to FBank, a conventional handcrafted feature for ASV. Our best single system achieves 0.537%, 0.569%, and 1.180% equal error rate (EER) on the three official trials of VoxCeleb1, separately. Accordingly, the ensemble system with three pre-trained models can further improve the EER to 0.479%, 0.536% and 1.023%. Among the three evaluation trials, our best system outperforms the winner system [2] of the VoxCeleb Speaker Recognition Challenge 2021 (VoxSRC2021) on the VoxCeleb1-E trial.

研究の動機と目的

• 大規模な自己教師あり音声表現が、ECAPA-TDNNのような最先端（SOTA）発話者認証システムを向上させられるかどうかを調査すること。
• 事前学習モデルの全隠れ層からの表現を組み合わせることで、最終層のみを使用する場合よりも性能が向上するかどうかを検証すること。
• 事前学習モデルの異なる層における発話者関連情報の分布を分析すること。
• モデルアーキテクチャ、事前学習目的、および学習データサイズのスケールが、下流のASV性能に与える影響を評価すること。
• 従来の手作業特徴量（FBankなど）と比較して、自己教師あり表現の有効性を検証すること。

提案手法

• 本手法は、事前学習モデル（Wav2Vec2.0、HuBERT、UniSpeech-SAT）の隠れ層表現の可学習重み付き平均を、ECAPA-TDNNの入力として用いる。
• 重みは下流学習中にエンドツーエンドで最適化され、モデルが発話者判別に最も寄与する層を学習できるようにする。
• 事前学習モデルは、VoxCeleb1およびVoxCeleb2データセット上でECAPA-TDNN分類器と同時に微調整される。
• モデルアーキテクチャ（ベース対大規模）、事前学習目的（対照的学習、マスキング予測）、および学習データスケール（XLSR、LibriSpeechなど）の異なる設定を比較する。
• 事前学習エンコーダーを凍結するか微調整するかの影響を評価するためのアブレーションスタディを実施する。
• 正規化された注意重みを用いて層ごとの重要度を可視化し、発話者情報が最も集中している層を分析する。

実験結果

リサーチクエスチョン

• RQ1 大規模なラベルなしデータからの自己教師あり音声表現は、ECAPA-TDNNのような最先端発話者認証システムの性能を向上させられるか？
• RQ2 最終層のみでなく、全隠れ層からの表現の重み付き平均を用いることは有益か？
• RQ3 どの事前学習モデルアーキテクチャと事前学習目的が発話者認証において最高の性能を発揮するか？
• RQ4 事前学習モデルのどの層（すなわち、どのレイヤー）に最も判別力のある発話者情報が存在するか？
• RQ5 事前学習モデルと下流分類器を同時に微調整することは、システム性能にどのように影響するか？

主な発見

• 可学習重み付き平均プーリングを用いた本手法は、VoxCeleb1-E試行で0.537%の等誤差率（EER）を達成し、同試行でVoxSRC2021コンテスト優勝者を上回った。
• 3つの事前学習モデルのアンサンブルにより、VoxCeleb1-EのEERはさらに0.479%に低下し、本手法の堅牢性を示した。
• 自己教師あり表現は、従来のFBank特徴量を著しく上回り、VoxCeleb1の全試行で相対的EER改善率約30%を達成した。
• 事前学習モデルの低層（特に大規模モデルであるUniSpeech-SAT_LargeおよびWav2Vec2.0_Large）に、高層よりも顕著な発話者判別情報が存在することが、高い学習重みから示された。
• 事前学習モデルの微調整は、VoxCeleb2_devセットではVoxCeleb1_devセットよりもより高い性能向上をもたらしたため、データスケールが微調整の有効性に影響を与えることが示唆された。
• 微調整後、Wav2Vec2.0_Large（XLSR）およびUniSpeech-SAT_Largeモデルが最も優れた性能を示し、特に後者はVoxCeleb1-Eで0.537%の最低EERを達成した。