[論文レビュー] An Improved Residual LSTM Architecture for Acoustic Modeling

Lu Huang, Jiasong Sun+2 more|arXiv (Cornell University)|Aug 17, 2017

Speech Recognition and Synthesis被引用数 3

ひとこと要約

本稿では、自動音声認識における音声モデリングのための改善された残差Long Short-Term Memory（LSTM）アーキテクチャを提案する。LSTMユニットに残差接続を統合することで、学習の安定性と性能が向上する。実験の結果、TIMITでは8%の相対的PER削減、残差高速LSTMバージョンでは4%の削減が達成され、THCHS-30、Librispeech、Switchboardを含む複数のデータセットにおいても優れた汎化性能を示した。

ABSTRACT

Long Short-Term Memory (LSTM) is the primary recurrent neural networks architecture for acoustic modeling in automatic speech recognition systems. Residual learning is an efficient method to help neural networks converge easier and faster. In this paper, we propose several types of residual LSTM methods for our acoustic modeling. Our experiments indicate that, compared with classic LSTM, our architecture shows more than 8% relative reduction in Phone Error Rate (PER) on TIMIT tasks. At the same time, our residual fast LSTM approach shows 4% relative reduction in PER on the same task. Besides, we find that all this architecture could have good results on THCHS-30, Librispeech and Switchboard corpora.

研究の動機と目的

• 音声認識における深層再帰ニューラルネットワークの学習に課題となる収束性と表現学習の向上を図ること。
• 残差学習を用いて標準LSTMアーキテクチャの性能を向上させ、より深い構造でも安定した学習を可能にすること。
• 計算効率を維持しつつ音声モデリングの精度を向上させる、新しい残差LSTMの変種を開発すること。
• TIMIT、THCHS-30、Librispeech、Switchboardを含む多様な音声コーパスにおいて、提案アーキテクチャの汎化性能を評価すること。

提案手法

• LSTMセルの入力から出力へのスキップ接続を導入することで、CNNにおける残差ネットワークと同様にLSTMユニット内に残差接続を統合する。
• 標準的な残差LSTMとパラメータ数を削減した高速バージョンを含む、複数の残差LSTMバリエーションを提案する。
• 隠れ状態遷移に残差学習を適用し、勾配が深層部に直接流れるようにする。
• 入力をLSTMセルの出力に加算する残差接続を採用し、標準LSTMの更新則に残差項を追加する。
• 計算複雑性を低減しながらも性能向上を維持する、残差高速LSTMの変種を採用する。
• 標準的な最適化手法を用いて、大規模な音声認識データセット上でモデルをエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 残差学習は、LSTMベースの音声モデリングの学習ダイナミクスと性能を向上させることができるか？
• RQ2 ベンチマークデータセットにおける標準LSTMと比較して、提案された残差LSTMアーキテクチャは、Phone Error Rate（PER）でどの程度の差を示すか？
• RQ3 残差高速LSTMの変種は、計算コストを削減しながらも高い精度を維持できるか？
• RQ4 TIMIT、Librispeech、Switchboardのような多様な音声認識データセットにおいて、提案されたアーキテクチャは効果的に汎化できるか？

主な発見

• 提案された残差LSTMアーキテクチャは、標準LSTMと比較してTIMITベンチマークで相対的に8%のPER削減を達成した。
• 残差高速LSTMの変種は、同じTIMITタスクで4%の相対的PER削減を達成し、精度を損なわず効率性が向上していることが示された。
• THCHS-30、Librispeech、Switchboardなど複数のデータセットにおいて、モデルは良好な汎化性能を示し、一貫した性能向上が得られた。
• 残差接続の統合により、より深いネットワークでも学習がより安定し、収束が速くなった。
• 残差高速LSTMの変種は、モデルの複雑さを低減しながらも高い性能を維持しており、リアルタイム応用に適している。