[論文レビュー] An improved hybrid CTC-Attention model for speech recognition

Zhe Yuan, Zhuoran Lyu+2 more|arXiv (Cornell University)|Oct 29, 2018

Speech Recognition and Synthesis参考文献 13被引用数 11

ひとこと要約

本論文は、より深いエンコーダー、BiLSTM強化型CTCデコーダー、およびアテンションスムージングを備えた改善されたハイブリッドCTC-アテンションエンドツーエンド音声認識モデルを提案し、LibriSpeechテストクリーンサブセットで言語モデルなしで4.43%、RNN言語モデルを搭載した場合で3.34%という最先端の単語誤り率を達成した。

ABSTRACT

Recently, end-to-end speech recognition with a hybrid model consisting of the connectionist temporal classification(CTC) and the attention encoder-decoder achieved state-of-the-art results. In this paper, we propose a novel CTC decoder structure based on the experiments we conducted and explore the relation between decoding performance and the depth of encoder. We also apply attention smoothing mechanism to acquire more context information for subword-based decoding. Taken together, these strategies allow us to achieve a word error rate(WER) of 4.43% without LM and 3.34% with RNN-LM on the test-clean subset of the LibriSpeech corpora, which by far are the best reported WERs for end-to-end ASR systems on this dataset.

研究の動機と目的

• CTCとアテンションメカニズムをより効果的に統合することで、エンドツーエンド音声認識のロバスト性と収束速度を向上させること。
• 純アテンションベースのモデルがノイズ環境下で示す限界と、トレーニング中の不整合問題を解消すること。
• アーキテクチャの強化と最適化技術を用いて、LibriSpeechベンチマークにおける単語誤り率（WER）を低減すること。
• エンコーダーの深さとCTCデコーダーブランチに追加のBiLSTM層を導入した場合の性能への影響を調査すること。
• アテンションスムージングとL2正則化がサブワードベースのデコーディングにおける文脈モデリングをどのように向上させるかを評価すること。

提案手法

• 4層のCNNと7層のBiLSTM（各方向1024ユニット）から成る共有エンコーダーを備えたハイブリッドCTC-アテンションアーキテクチャを提案。
• CTCデコーダーブランチにBiLSTM層を追加することで、アライメント学習の向上とWERの低減を実現。
• 文脈モデリングの向上とデコーディング中の一般化性能の向上を目的に、アテンションスムージングを適用。
• CTC損失とアテンション損失を組み合わせた重み付き損失関数を用い、最適なパフォーマンスを得るためのハイパーパrameter α を0.1に調整。
• 語彙外語問題の緩和を目的に、5000ユニットのバイトペア符号化（BPE）を用いたサブワード単位を採用。
• KALDIを用いて80次元のメルフィルタバンク特徴量を抽出し、3倍のスピード変更（0.9x、1.0x、1.1x）によるデータ拡張を実施。

実験結果

リサーチクエスチョン

• RQ1 エンコーダーの深さを増加させることで、ハイブリッドCTC-アテンションモデルの性能にどのような影響を与えるか？
• RQ2 CTCデコーダーブランチにBiLSTM層を追加することで、単語誤り率（WER）にどのような影響を与えるか？
• RQ3 サブワードベースのエンドツーエンドASRにおけるデコーディング性能向上に、アテンションスムージングはどのように寄与するか？
• RQ4 LibriSpeechにおけるWERを最小化するための最適なCTCとアテンション損失のバランス（α）は何か？
• RQ5 提案されたモデルは外部言語モデルを用いずにLibriSpeechで最先端のパフォーマンスを達成できるか？

主な発見

• 言語モデルなしのLibriSpeechテストクリーンサブセットにおいて、本モデルは4.43%の単語誤り率（WER）を達成し、新たなSOTAを樹立した。
• RNN言語モデルを搭載した場合、テストクリーンサブセットで3.34%のWERを達成し、エンドツーエンドシステムとしての新たなSOTAを記録した。
• CTCデコーダーブランチにBiLSTM層を追加することで、RNN言語モデルを用いた場合にWERが約25%低減した。
• エンコーダーのBiLSTM層数を5から7に増加させることでWER性能が向上し、7層＋CTC-BiLSTMの組み合わせが最良の結果を示した。
• 最適な損失重み付けαは0.1であり、CTC損失が注意に基づくデコーディングを支援するための補助的役割を果たすことが示唆された。
• 本モデルは、テストクリーンおよびテストオーザーの両サブセットにおいて、DeepSpeech2、ESPnet、I-Attentionといった先行エンドツーエンドシステムを上回る性能を発揮した。