[論文レビュー] An Exploration of Self-Supervised Pretrained Representations for End-to-End Speech Recognition

Xuankai Chang, Takashi Maekaku+9 more|arXiv (Cornell University)|Oct 9, 2021

Speech Recognition and Synthesis被引用数 8

ひとこと要約

本論文は、Transformer や Conformer といった最先端のモデルを用いたエンドツーエンド自動音声認識（E2E-ASR）システムにおいて、自己教師あり事前学習音声表現（特に HuBERT と Wav2Vec2.0）の評価を実施している。モデルアーキテクチャーや学習戦略を変更せずに、複数の公開 ASR コーパスで最先端（SOTA）性能に達するか、それを上回ることを確認した。これは、強力な汎化性能と高速な収束性を示している。

ABSTRACT

Self-supervised pretraining on speech data has achieved a lot of progress. High-fidelity representation of the speech signal is learned from a lot of untranscribed data and shows promising performance. Recently, there are several works focusing on evaluating the quality of self-supervised pretrained representations on various tasks without domain restriction, e.g. SUPERB. However, such evaluations do not provide a comprehensive comparison among many ASR benchmark corpora. In this paper, we focus on the general applications of pretrained speech representations, on advanced end-to-end automatic speech recognition (E2E-ASR) models. We select several pretrained speech representations and present the experimental results on various open-source and publicly available corpora for E2E-ASR. Without any modification of the back-end model architectures or training strategy, some of the experiments with pretrained representations, e.g., WSJ, WSJ0-2mix with HuBERT, reach or outperform current state-of-the-art (SOTA) recognition performance. Moreover, we further explore more scenarios for whether the pretraining representations are effective, such as the cross-language or overlapped speech. The scripts, configuratons and the trained models have been released in ESPnet to let the community reproduce our experiments and improve them.

研究の動機と目的

• 自己教師あり事前学習音声表現（SSLR）の高度なエンドツーエンド ASR システムにおける汎化性能と性能を評価すること。
• 読み下す vs. 自然な会話、単一話者 vs. 多話者など、異なる音声特性を有する多様な公開 ASR コーパスにおける SSLR の比較を行うこと。
• 翻訳言語間や重複音声認識といった挑戦的な状況における SSLR の有効性を調査すること。
• コミュニティ利用を目的として、ESPnet にスクリプト、構成ファイル、および訓練済みモデルを公開することで再現可能なベンチマークを提供すること。

提案手法

• S3PRL ツールキットから得た SSLR を、ESPnet の E2E 話音処理フレームワークに統合し、スムーズな評価を可能にした。
• 同じバックエンドモデルアーキテクチャを用いて、HuBERT、Wav2Vec2.0、APC、Mockingjay、TERA、NPC、VQ-APC など複数の SSLR モデルを、さまざまな ASR コーパスで評価した。
• 3 種類の特徴融合戦略を検討した：すべてのエンコーダー層の重み付き和、最終層の特徴、ファインチューニングされた最終層特徴。
• 固定された SSLR 特徴を用いて、ジョイント CTC/アテンションベースの Transformer および Conformer エンコーダーデコーダー モデルを E2E-ASR 学習に使用した。
• 勾配蓄積、ドロップアウト正則化、発話単位の正規化といった標準的な学習技術を適用し、学習の安定性を向上させた。
• 訓練のダイナミクスを評価するために、検証精度の曲線を監視し、SSLR 特徴の収束性と頑健性を評価した。

Fig. 1 : End-to-End speech processing with various speech representations. The framework can be used in speech recognition (ASR), speech translation (ST), speech enhancement (SE), etc.

実験結果

リサーチクエスチョン

• RQ1 多様なコーパスにおいて、自己教師あり事前学習表現は従来の log-Mel FBANK 特徴と比較して、E2E-ASR 性能でどのように異なるか？
• RQ2 HuBERT や Wav2Vec2.0 のような SSLR は、LibriSpeech を超えて他のオープンソース ASR データセットでも SOTA 結果を達成できるか？
• RQ3 SSLR からの多層特徴を最適に活用する方法は何か？（重み付き和、最終層、またはファインチューニングされた最終層特徴）
• RQ4 翻訳言語間や重複音声認識といった挑戦的な状況において、SSLR の性能はいかがなものか？

主な発見

• HuBERT および Wav2Vec2.0 の特徴は、log-Mel FBANK 特徴を著しく上回り、WSJ、LibriTTS、AISHELL といった複数のコーパスで SOTA または準 SOTA の結果を達成した。
• WSJ データセットでは、重み付き和特徴を用いた HuBERT は、言語モデル（LM）ありで WER 3.0%、なしで 4.9% を達成し、LM ありの FBANK ベースライン（5.3% と 5.5%）を上回った。
• Wav2Vec2.0 は重み付き和特徴を用いて、LM ありで WER 3.7% を達成し、WSJ における先行の SOTA システムと同等またはそれを上回った。
• SSLR ベースのモデルの学習曲線は、FBANK よりも収束が速く、HuBERT や Wav2Vec2.0 は初期学習エポックから優れた精度を維持した。
• HuBERT 特徴は最終層に強く集中していたが、Wav2Vec2.0 は重み付き和による複数層の組み合わせにより恩恵を受けており、より豊かな中間表現を示した。
• 学習率やバッチサイズといったハイパーパramータの変化に対しても、事前学習特徴は頑健であったため、多様な学習環境でも信頼性が保証された。

Fig. 2 : Validation accuracies of different self-supervised learning representations on WSJ ASR dataset.