[論文レビュー] Joint CTC-Attention based End-to-End Speech Recognition using Multi-task Learning

Suyoun Kim, Takaaki Hori+1 more|arXiv (Cornell University)|Sep 21, 2016

Speech Recognition and Synthesis参考文献 12被引用数 18

ひとこと要約

この論文は、共有エンコーダーを用いてCTCとアテンションベースのエンドツーエンドASRモデルを同時に学習するマルチタスク学習フレームワークを提案し、アライメントのロバスト性と収束速度を向上させている。CTCの左から右への単調な制約とアテンションの文脈に配慮したデコードを組み合わせることで、WSJおよびCHiME-4でCTCおよびアテンションベースライン比で相対的にCERが5.4–14.6%改善され、騒音環境およびクリーンな状況の両方でより速い学習とより良い一般化性能を達成した。

ABSTRACT

Recently, there has been an increasing interest in end-to-end speech recognition that directly transcribes speech to text without any predefined alignments. One approach is the attention-based encoder-decoder framework that learns a mapping between variable-length input and output sequences in one step using a purely data-driven method. The attention model has often been shown to improve the performance over another end-to-end approach, the Connectionist Temporal Classification (CTC), mainly because it explicitly uses the history of the target character without any conditional independence assumptions. However, we observed that the performance of the attention has shown poor results in noisy condition and is hard to learn in the initial training stage with long input sequences. This is because the attention model is too flexible to predict proper alignments in such cases due to the lack of left-to-right constraints as used in CTC. This paper presents a novel method for end-to-end speech recognition to improve robustness and achieve fast convergence by using a joint CTC-attention model within the multi-task learning framework, thereby mitigating the alignment issue. An experiment on the WSJ and CHiME-4 tasks demonstrates its advantages over both the CTC and attention-based encoder-decoder baselines, showing 5.4-14.6% relative improvements in Character Error Rate (CER).

研究の動機と目的

• 騒音環境および長い系列におけるアテンションベースのエンドツーエンドASRの不安定さと収束の遅さを解消すること。
• 純粋なアテンションモデルに左から右へのアライメント制約が欠如していることによる誤アライメントおよび一般化性能の低下を克服すること。
• マルチタスク学習フレームワークにおいてCTCの単調なアライメントを活用することで、訓練の安定性と収束速度を向上させること。
• 外部言語モデルを用いずに、クリーン（WSJ）および騒音（CHiME-4）音声認識タスクの両方で性能を向上させること。
• CTCの補助的目的が、文字依存関係をモデル化しないにもかかわらず、クリーンデータ設定でも一般化性能を向上させることを示すこと。

提案手法

• マルチタスク学習を用いて、CTCとアテンションベースのデコーダーの両方の目的関数を同時に学習する共有エンコーダーを訓練する。
• CTC損失とアテンション損失の重み付き組み合わせを用い、ハイパーパrameter λ が両目的間のバランスを制御する。
• CTC損失を前向き後ろ向きアルゴリズムを用いて、エンコーダー出力に単調かつ左から右へのアライメントを強制する。
• デコーダーで位置に依存するアテンションメカニズムを採用し、過去のデコーダー出力を条件としてエンコーダーステートを注目する。
• 4層の双方向LSTMエンコーダーと1層のLSTMデコーダーを用い、層間で線形変換と残差接続を実装する。
• AdaDeltaを用いて最適化し、勾配クリッピングと一様な重み初期化を適用し、長さ正規化を用いたビームサーチでデコードする。

実験結果

リサーチクエスチョン

• RQ1 CTCとアテンションの共同学習は、騒音音声認識におけるアライメントのロバスト性を向上させるか？
• RQ2 CTCの単調なアライメント制約を組み込むことで、エンドツーエンドASRの収束が加速するか？
• RQ3 マルチタスク学習フレームワークは、クリーンおよび騒音データセットにおいて、単独のCTCおよびアテンションモデルと比較してどのように性能を発揮するか？
• RQ4 ASR性能を最大化するために、CTCとアテンション損失の最適なバランスは何か？
• RQ5 CTCの目的関数は、文字依存関係をモデル化しないにもかかわらず、クリーンデータ設定でも一般化性能を向上させるか？

主な発見

• 共同CTC-アテンションモデルは、WSJおよびCHiME-4データセットで、CTCおよびアテンションベースライン比で相対的にCERが5.4–14.6%改善された。
• λ = 0.2 のモデルがWSJおよびCHiME-4の両方で最良の性能を示し、CTCとアテンション目的の最適なバランスが得られた。
• 学習曲線から、MTLモデルは純粋なアテンションモデルよりも高い文字正答率に早く到達し、収束も早く occurred した。
• アテンションアライメントの可視化から、MTLモデルは第5エポックまでに正しい単調なアライメントを学習していたが、アテンションモデルは第9エポックまで収束しなかった。
• CTC損失が早期学習段階でアテンションメカニズムを単調なアライメントに向かわせる有効なガイドとして機能し、誤アライメントを低減した。
• クリーンなWSJデータでも、MTLモデルは両ベースラインを上回った。これは、CTCの訓練に統合されたバイアスが一般化性能を向上させることを示唆している。