[論文レビュー] Independent language modeling architecture for end-to-end ASR

Van Tung Pham, Haihua Xu+6 more|arXiv (Cornell University)|Nov 25, 2019

Speech Recognition and Synthesis参考文献 26被引用数 6

ひとこと要約

本稿では、エンコーダ出力からデコーダサブネットを分離することで、外部テキストデータを用いた独立した事前学習を可能にする、エンドツーエンド自動音声認識（ASR）向けの分離型言語モデルアーキテクチャを提案する。言語モデルを分離することにより、中国語HKUSTでは9.3%の相対的文字誤り率（CER）の低減、英語NSCでは22.8%の相対的語誤り率（WER）の低減を達成し、ラベル付きデータ量の変動にわたる一般化性能の向上と、外部言語モデルとの互換性を実現した。

ABSTRACT

The attention-based end-to-end (E2E) automatic speech recognition (ASR) architecture allows for joint optimization of acoustic and language models within a single network. However, in a vanilla E2E ASR architecture, the decoder sub-network (subnet), which incorporates the role of the language model (LM), is conditioned on the encoder output. This means that the acoustic encoder and the language model are entangled that doesn't allow language model to be trained separately from external text data. To address this problem, in this work, we propose a new architecture that separates the decoder subnet from the encoder output. In this way, the decoupled subnet becomes an independently trainable LM subnet, which can easily be updated using the external text data. We study two strategies for updating the new architecture. Experimental results show that, 1) the independent LM architecture benefits from external text data, achieving 9.3% and 22.8% relative character and word error rate reduction on Mandarin HKUST and English NSC datasets respectively; 2)the proposed architecture works well with external LM and can be generalized to different amount of labelled data.

研究の動機と目的

• 従来のエンドツーエンドASRでは言語モデルが音声エンコーダーと一体化されており、外部テキストデータを独立して学習できないという制限を解消すること。
• 音声の字幕付きデータを必要とせずに、大規模な外部テキストコーパスを用いて言語モデル部の効果的な事前学習を可能にすること。
• 言語モデルの事前学習後に、エンドツーエンドモデルの共同微調整において深刻な忘却（catastrophic forgetting）を緩和すること。
• ラベル付きデータ量の変動にわたる一般化性能と、外部言語モデルとの統合可能性を評価すること。

提案手法

• エンコーダ出力からデコーダサブネットを分離することで、デコーダが独立した言語モデルとして機能できる新たなアーキテクチャ（A2）を提案する。
• アテンションメカニズムを変更し、コンテキストベクトルをエンコーダ出力と現在のデコーダ隠れ状態から計算するようにし、デコーダをコンテキストベクトルに依存させないようにする。
• 2つの訓練戦略を導入する：戦略1は、共同微調整の前に外部テキストデータでデコーダサブネットを事前学習する。戦略2は、ASRと言語モデル学習の目的関数を重み付けした損失関数を用いて、事前学習と共同微調整を交互に実行する。
• ハイパーパrameter α を用いて、ラベル付きASRデータと外部テキストデータの貢献度をバランスさせる重み付き損失関数を採用する。
• 特に深刻な忘却の緩和に向け、勾配クリッピングとAdaDelta最適化手法を適用して訓練の安定性を向上させる。
• 推論段階で外部RNN-LMを統合し、独立した言語モデルと事前学習済み外部言語モデルの相乗効果を評価する。

実験結果

リサーチクエスチョン

• RQ1 エンコーダ出力から言語モデルを分離することで、エンドツーエンドASRにおいて外部テキストデータのみを用いた効果的な事前学習が可能になるか？
• RQ2 ラベル付きデータのみを用いた場合、提案アーキテクチャは従来のA1アーキテクチャと比較して性能に優れているか？
• RQ3 外部テキストデータを活用して言語モデルを改善する際、深刻な忘却を最も効果的に緩和する訓練戦略は何か？
• RQ4 提案アーキテクチャは、ラベル付きデータ量の変動にわたって一般化性能を示すか？
• RQ5 独立した言語モデルは、外部事前学習済み言語モデルと統合することでさらなる向上が図れるか？

主な発見

• ラベル付きデータでのみ学習した場合、A2アーキテクチャはA1アーキテクチャを1.8%相対的CER（49.2% → 48.3%）と4.3%相対的WER（39.9% → 38.2%）で上回った。
• 戦略2（α=0.7で事前学習後に共同微調整）を用い、外部テキストデータを活用した場合、HKUSTでは9.3%相対的CER低減、NSCでは22.8%相対的WER低減を達成した。
• 戦略2を用いたA2アーキテクチャは、外部テキストデータを用いたすべての設定で最良の性能を示し、A1および戦略1を上回った。
• 外部RNN-LMを統合したA2-Strategy2-0.7モデルは、20時間分のラベル付きデータを用いたNSCコーパスにおいて、CERが0.2%絶対値低下、WERが4.5%絶対値低下を達成した。
• 提案アーキテクチャは、ラベル付きデータ量の変動にわたって良好な一般化性能を示し、NSCデータセットでは20〜60時間の学習データ量の範囲で一貫した改善が確認された。
• 慎重な訓練スケジューリングにより、深刻な忘却が効果的に緩和され、外部テキストデータでの事前学習後の効果的な共同最適化が可能になった。