[論文レビュー] Multi-encoder multi-resolution framework for end-to-end speech recognition

Ruizhi Li, Xiaofei Wang+4 more|arXiv (Cornell University)|Nov 12, 2018

Speech Recognition and Synthesis参考文献 16被引用数 15

ひとこと要約

本稿では、双方向LSTMエンコーダーとCNN-RNNエンコーダーを組み合わせ、別個のCTCヘッドと階層的アテンションメカニズムを用いて補完的な音声表現を統合する、エンドツーエンド音声認識のためのマルチエンコーダー・マルチリゾリューション（MEMR）フレームワークを提案する。モデルはWSJ eval92セットで最先端の3.6% WERを達成し、従来のエンドツーエンドシステム比で32.1%の相対的WER低減を実現した。

ABSTRACT

Attention-based methods and Connectionist Temporal Classification (CTC) network have been promising research directions for end-to-end Automatic Speech Recognition (ASR). The joint CTC/Attention model has achieved great success by utilizing both architectures during multi-task training and joint decoding. In this work, we present a novel Multi-Encoder Multi-Resolution (MEMR) framework based on the joint CTC/Attention model. Two heterogeneous encoders with different architectures, temporal resolutions and separate CTC networks work in parallel to extract complimentary acoustic information. A hierarchical attention mechanism is then used to combine the encoder-level information. To demonstrate the effectiveness of the proposed model, experiments are conducted on Wall Street Journal (WSJ) and CHiME-4, resulting in relative Word Error Rate (WER) reduction of 18.0-32.1%. Moreover, the proposed MEMR model achieves 3.6% WER in the WSJ eval92 test set, which is the best WER reported for an end-to-end system on this benchmark.

研究の動機と目的

• 異種エンコーダーからの補完的表現を活用することで、エンドツーエンド音声認識（ASR）の性能を向上させること。
• 単一エンコーダーのモデルが多様な時間的・周波数的特徴を捉えきれないという限界を、マルチリゾリューションエンコーディングによって克服すること。
• 各エンコーダーごとのConnectionist Temporal Classification（CTC）と統合的なCTC/アテンション学習を組み合わせることで、アライメントとデコードのロバスト性を向上させること。
• 段階的アテンションメカニズムを用いて、各デコードステップでより情報量の多いエンコーダーストリームに動的に重みを割り当てること。
• 言語的事前知識を一切用いずに、WSJ や CHiME-4 といった標準ベンチマークで最先端の性能を達成すること。

提案手法

• MEMRフレームワークは、双方向LSTM（RNN）に基づくエンコーダーと、CNNと双方向LSTMを組み合わせた（CNN-RNN）エンコーダーの2つの並列エンコーダーを採用し、それぞれが異なる時間的解像度を持つ。
• 各エンコーダーは専用のCTCネットワークとペアを成し、フレーム単位のアライメントの監視を提供することで、単調性の向上と誤差伝搬の低減を図る。
• 段階的アテンションメカニズムにより、2つのエンコーダー出力の間で動的アテンション重みを計算し、各デコードステップで識別能がより高いエンコーダーに注目を向けることができる。
• 統合的なCTC/アテンション学習目的関数は、CTC損失とアテンション損失を重み付き和（訓練時λ=0.2）で組み合わせ、システム全体のエンドツーエンド最適化を可能にする。
• モデルはユニグラムラベルスムージングと、ビーム幅30（WSJ）または20（CHiME-4）のビームサーチデコードを用い、スケーリング係数γ=1.0のRNN言語モデルを統合する。
• 実験は、PyTorchとESPnetを用い、単一のGTX 1080Ti GPUとミニバッチサイズ15でWSJとCHiME-4で実施した。

実験結果

リサーチクエスチョン

• RQ1 補完的な音声特徴を捉えることによって、マルチエンコーダー・マルチリゾリューションアーキテクチャがエンドツーエンドASRの性能を向上させられるか？
• RQ2 各エンコーダーに別個のCTCネットワークを割り当てることで、統合的なCTC/アテンション学習におけるアライメントの質が向上し、WERが低減するか？
• RQ3 段階的アテンションメカニズムが、デコード中により情報量の多いエンコーダーストリームに高い重みを割り当てることができるか？
• RQ4 エンコーダーのアーキテクチャの異種性（例：RNN対比CNN-RNN）が、異なるデータセット上でのモデル性能とロバスト性に与える影響は何か？
• RQ5 MEMRフレームワークは、パrameter数が類似する単一エンコーダーのモデルよりも、標準ベンチマークでどれほど優れた性能を示すか？

主な発見

• MEMRモデルはWSJ eval92テストセットで3.6% WERを達成し、このベンチマークで報告されたエンドツーエンドASRシステムの中で最低のWERを記録した。
• WSJ1において、従来のエンドツーエンドシステム比で32.1%の相対的WER低減を実現し、4.6%から3.6%に低下した。
• CHiME-4では、1ch、2ch、6chの全チャネル設定で19%の相対的WER改善を達成し、et05_real_1chで26.4%のWERを記録した。
• 各エンコーダーごとのCTCの使用は一貫して性能向上をもたらし、段階的アテンションと組み合わせた場合、WSJ1でWERが4.3%から3.6%に低下した。
• 段階的アテンションメカニズムはエンコーダーの能力に適応して効果的に機能した：第二エンコーダーのLSTM層数が減少するにつれ、注目度がより強い最初のエンコーダーにシフトし、エンコーダー1への平均アテンション重みは0.27から0.81に上昇した。
• パrameter数が類似する単一エンコーダーのモデル（21.3M vs. 21.9M）と比較して、CHiME-4では18.0–20.8%の相対的WER低減、WSJ1では32.1%の相対的改善を示した。