[論文レビュー] Highway Long Short-Term Memory RNNs for Distant Speech Recognition

Yu Zhang, Guoguo Chen+4 more|arXiv (Cornell University)|Oct 30, 2015

Speech Recognition and Synthesis参考文献 19被引用数 27

ひとこと要約

本論文は、勾配消失問題を軽減し、より深いネットワークの安定した学習を可能にするために、隣接層の記憶セル間にゲート付きの直接接続を導入したハイウェイLSTM（HLSTM）RNNを提案する。この手法により、AMI遠距離音声認識（SDM）開発/評価セットにおいて43.9%/47.7%の新たなSOTA WERを達成し、DNNより15.7%、DLSTMより5.3%相対的に優れている。特に、シーケンス学習とハイウェイ接続へのドロップアウトが効果を発揮している。

ABSTRACT

In this paper, we extend the deep long short-term memory (DLSTM) recurrent neural networks by introducing gated direct connections between memory cells in adjacent layers. These direct links, called highway connections, enable unimpeded information flow across different layers and thus alleviate the gradient vanishing problem when building deeper LSTMs. We further introduce the latency-controlled bidirectional LSTMs (BLSTMs) which can exploit the whole history while keeping the latency under control. Efficient algorithms are proposed to train these novel networks using both frame and sequence discriminative criteria. Experiments on the AMI distant speech recognition (DSR) task indicate that we can train deeper LSTMs and achieve better improvement from sequence training with highway LSTMs (HLSTMs). Our novel model obtains $43.9/47.7\%$ WER on AMI (SDM) dev and eval sets, outperforming all previous works. It beats the strong DNN and DLSTM baselines with $15.7\%$ and $5.3\%$ relative improvement respectively.

研究の動機と目的

• 遠距離音声認識（DSR）に用いられる深層LSTMネットワークにおける勾配消失問題に対処すること。
• 隣接層の記憶セル間にゲート付きの直接接続を導入することで、より深いLSTMアーキテクチャの学習を可能にすること。
• 混雑した環境（リバーブや重なり音声）におけるDSRタスクの性能向上を図り、情報伝達の改善と学習安定性の向上を実現すること。
• 完全な文脈を活用しながらも低レイテンシを維持できる、レイテンシ制御型双向LSTM（LC-BLSTM）を提案すること。
• 特にドロップアウトを組み合わせた場合に顕著な効果を示す、シーケンス判別的学習の有効性を実証すること。

提案手法

• 隣接するLSTM層間の記憶セルにハイウェイ接続を導入し、情報の遮断のない流れを可能にし、勾配消失を軽減する。
• 学習可能なゲート機構を用いて、ハイウェイ接続を通じた情報の流れを制御し、信号の適応的ルーティングを実現する。
• 学習中にハイウェイ接続にドロップアウトを適用し、活性化の動的制御を図り、一般化性能の向上を図る。
• 将来のコンテキストを固定フレーム数に制限することで、レイテンシを低く保ちつつ性能を維持する、レイテンシ制御型双向LSTM（LC-BLSTM）を提案する。
• フレームレベルの交差エントロピーとシーケンスレベルの判別的学習（例：sMBR）を併用してモデルを最適化する。
• 効率的な学習のためのCNTKツールキットを用い、再現性を確保するための公開ツールを提供する。

実験結果

リサーチクエスチョン

• RQ1 LSTM層間のゲート付きハイウェイ接続が、遠距離音声認識における学習の深さと性能を顕著に向上させることができるか？
• RQ2 ハイウェイ接続の導入が、深層LSTMモデルにおけるシーケンス判別的学習の有効性を高めるか？
• RQ3 ハイウェイ接続にドロップアウトを適用することで、DSRタスクにおけるモデルの一般化性能とWERにどのような影響を与えるか？
• RQ4 レイテンシ制御型双向LSTM（LC-BLSTM）は、完全なアテンションを用いたBLSTMと同等の性能を達成しながらも、低レイテンシを維持できるか？
• RQ5 提案されたHLSTMアーキテクチャは、AMI SDM遠距離音声認識ベンチマークにおいて、標準DNN、CNN、DLSTMを上回る性能を示すか？

主な発見

• ドロップアウトを適用した提案されたハイウェイLSTM（HLSTM）は、AMI SDM評価セットでWER 47.7%を達成し、DLSTMベースラインより5.3%相対的に向上した。
• HLSTMモデルはDNNベースラインより15.7%相対的にWERを低減し、困難な遠距離音声認識タスクにおける顕著な性能向上を示した。
• 8層のより深いHLSTMネットワーク（重なりあり）は安定した性能（WER 50.7%）を維持するが、標準LSTMでは深さが増すと著しく性能が低下（52.6%）した。
• シーケンス学習により、ドロップアウトを適用した3層HLSTMでは5.3%相対的WER改善が得られたのに対し、標準LSTMでは3%にとどまり、ハイウェイ接続の効果が顕著に現れた。
• LC-BLSTMバージョンは、最小限のレイテンシで効率的な学習とデコードを可能にし、コンテキスト依存のチャンク処理BLSTMを速度と性能の両面で上回った。
• 本モデルは、AMI（SDM）開発および評価セットで43.9%/47.7%の報告済み最良のWERを達成し、このタスクにおける新たなSOTAを確立した。