[論文レビュー] Improving Hybrid CTC/Attention End-to-end Speech Recognition with Pretrained Acoustic and Language Model

Keqi Deng, Songjun Cao+2 more|arXiv (Cornell University)|Dec 14, 2021

Speech Recognition and Synthesis被引用数 6

ひとこと要約

本論文は、sequence-to-sequence end-to-end ASRシステムにおいて、事前学習済みのwav2vec2.0音声表現モデル（AM）とDistilGPT2言語モデル（LM）を併用するハイブリッド CTC/アテンションベースのPreformerアーキテクチャを提案する。エンコーダーをwav2vec2.0で初期化し、DistilGPT2で初期化された1つのクロスアテンションデコーダー（OCD）を導入することで、AISHELL-1で4.6%の文字誤り率（CER）を達成し、vanilla Transformerベースライン比で27%の相対的誤り率低減を実現した。

ABSTRACT

Recently, self-supervised pretraining has achieved impressive results in end-to-end (E2E) automatic speech recognition (ASR). However, the dominant sequence-to-sequence (S2S) E2E model is still hard to fully utilize the self-supervised pre-training methods because its decoder is conditioned on acoustic representation thus cannot be pretrained separately. In this paper, we propose a pretrained Transformer (Preformer) S2S ASR architecture based on hybrid CTC/attention E2E models to fully utilize the pretrained acoustic models (AMs) and language models (LMs). In our framework, the encoder is initialized with a pretrained AM (wav2vec2.0). The Preformer leverages CTC as an auxiliary task during training and inference. Furthermore, we design a one-cross decoder (OCD), which relaxes the dependence on acoustic representations so that it can be initialized with pretrained LM (DistilGPT2). Experiments are conducted on the AISHELL-1 corpus and achieve a $4.6\%$ character error rate (CER) on the test set. Compared with our vanilla hybrid CTC/attention Transformer baseline, our proposed CTC/attention-based Preformer yields $27\%$ relative CER reduction. To the best of our knowledge, this is the first work to utilize both pretrained AM and LM in a S2S ASR system.

研究の動機と目的

• 主なsequence-to-sequence end-to-end ASRシステムに、事前学習済み音声モデルと言語モデルを効果的に統合する課題に対処すること。
• 標準的なアテンションベースのデコーダーが音声表現に依存するため、独立して事前学習できないという制限を克服すること。
• 自己教師ありで事前学習されたAM（例：wav2vec2.0）と自己回帰的で事前学習されたLM（例：DistilGPT2）を組み合わせることで、ASR性能が著しく向上するかどうかを検証すること。
• 事前学習済みAMおよびLMコンponentsを統合的かつトレーニング可能なend-to-endフレームワーク内で完全に活用できる、新たなアーキテクチャを設計すること。
• 低リソース非英語ASRベンチマーク（AISHELL-1）において、このアプローチの有効性を検証すること。

提案手法

• 自己教師あり音声表現を活用するため、エンコーダーを事前学習済みのwav2vec2.0モデルで初期化する。
• 収束性の向上とすべての時間的境界をカバーするビームサーチを可能にするために、補助的な訓練目的としてCTCブランチを導入する。
• エンコーダー出力への依存を軽減し、デコーダーの独立した事前学習を可能にするために、1つのマルチヘッドクロスアテンション層のみを用いる「1つのクロスアテンションデコーダー」（OCD）を提案する。
• 高品質な言語表現をASRシステムに組み込むために、OCDデコーダーを事前学習済みのDistilGPT2モデルで初期化する。
• sequence-to-sequenceモデリングとCTCベースのアライメントの両方の長所を組み合わせるため、ハイブリッドCTC/アテンション損失を用いて、モデル全体をend-to-endで訓練する。
• 効率的かつ効果的なLM初期化のため、GPT2をDistilGPT2に圧縮する知識蒸留技術を適用する。

実験結果

リサーチクエスチョン

• RQ1 sequence-to-sequence ASRモデルは、統合フレームワーク内で、事前学習済み音声モデル（wav2vec2.0）と事前学習済み言語モデル（DistilGPT2）の両方を効果的に活用できるか？
• RQ2 CTCブランチを導入することで、ハイブリッドCTC/アテンションTransformer ASRシステムにおける訓練の安定性と推論性能が向上するか？
• RQ3 1つのクロスアテンションデコーダー（OCD）アーキテクチャは、音声表現への依存を十分に軽減でき、DistilGPT2のような言語モデルによるデコーダーの有効な事前学習を可能にするか？
• RQ4 英語のwav2vec2.0を用いた多言語的事前学習戦略（中国語ASRにおける中国語音声認識）が、低リソース言語認識に与える影響は何か？
• RQ5 提案されたPreformerは、標準的な微調整済み外部言語モデルやvanillaベースラインと比較して、文字誤り率（CER）の観点でどの程度の性能を示すか？

主な発見

• 提案されたPreformerは、AISHELL-1テストセットで4.6%の文字誤り率（CER）を達成し、vanillaハイブリッドCTC/アテンションTransformerベースラインを著しく上回った。
• Preformerは、ベースライン比で27%の相対的CER低減を達成し、AMとLMの共同事前学習の有効性を示した。
• wav2vec2.0エンコーダーを単体で事前学習した場合（OCDなし）でも、テストセットのCERが6.3%から5.0%に低下し、AM事前学習の利点を示した。
• OCDデコーダーをDistilGPT2で初期化することで、テストセットのCERが5.6%から4.6%に低下し、デコーダーにおけるLM事前学習の価値を裏付けた。
• アブレーションスタディの結果、英語のwav2vec2.0モデルをエンコーダーの事前学習に用いても、ランダムなTransformerエンコーダーよりも性能が向上しており、多言語的転送可能性が示された。
• 浅い統合によるDistilGPT2の外部LMとしての微調整は、ベースラインCERを5.9%から5.7%に改善したが、提案されたOCDベースの内部統合は4.3%のCERを達成し、統合効率の優位性を示した。