[論文レビュー] Long Short-Term Memory based Convolutional Recurrent Neural Networks for Large Vocabulary Speech Recognition

Xiangang Li, Xihong Wu|arXiv (Cornell University)|Oct 11, 2016

Speech Recognition and Synthesis参考文献 30被引用数 5

ひとこと要約

本論文は、周波数軸に沿った畳み込み処理と時間軸に沿った再帰的LSTM処理を組み合わせることで、大規模語彙音声認識を向上させるLSTMベースの畳み込み再帰ニューラルネットワーク（LSTM-CRNN）を提案する。このモデルは、強力なLSTMベースラインに対して7.1%の相対的語誤り率（WER）の低減を達成し、大規模な会話型電話音声認識タスクにおいて最先端の性能を示している。

ABSTRACT

Long short-term memory (LSTM) recurrent neural networks (RNNs) have been shown to give state-of-the-art performance on many speech recognition tasks, as they are able to provide the learned dynamically changing contextual window of all sequence history. On the other hand, the convolutional neural networks (CNNs) have brought significant improvements to deep feed-forward neural networks (FFNNs), as they are able to better reduce spectral variation in the input signal. In this paper, a network architecture called as convolutional recurrent neural network (CRNN) is proposed by combining the CNN and LSTM RNN. In the proposed CRNNs, each speech frame, without adjacent context frames, is organized as a number of local feature patches along the frequency axis, and then a LSTM network is performed on each feature patch along the time axis. We train and compare FFNNs, LSTM RNNs and the proposed LSTM CRNNs at various number of configurations. Experimental results show that the LSTM CRNNs can exceed state-of-the-art speech recognition performance.

研究の動機と目的

• 音声信号における時間的およびスペクトル的変動を処理する際に、固定コンテキスト窓モデルの限界を克服すること。
• CNNの周波数不変性とLSTM RNNの動的コンテキスト学習を統合することで、音声モデリングを改善すること。
• 畳み込み構造と再帰構造を組み合わせることで、単独のDNN、LSTM RNN、またはCNNよりも優れた性能を達成できるかどうかを検証すること。
• プーリング、プロジェクション層、深層スタックなどのアーキテクチャ的要素が認識性能に与える影響を評価すること。

提案手法

• 各音声フレームは周波数軸に沿って局所的な特徴パッチに分割され、局所的なスペクトル処理が可能になる。
• 一方向LSTMが時間軸に沿って各周波数パッチごとに独立して適用され、動的コンテキストを用いた時間的依存性がモデル化される。
• 標準的な畳み込みフィルタの代わりにLSTMベースのフィルタが採用され、各周波数パッチごとに適応的時間的コンテキストを学習可能になる。
• 非線形性に3層のReLU層と、パラメータ数を削減し一般化性能を向上させるためのプーリング層（サイズ3）が使用される。
• パラメータ数を削減するためのプロジェクションヘッドを備えたCLSTMおよびCLSTMP層の深層スタックを含む、複数の構成がテストされた。
• 順序判別的学習は今後の課題として挙げられているが、本研究では実装されていない。

実験結果

リサーチクエスチョン

• RQ1 CNNとLSTM RNNをハイブリッドアーキテクチャで組み合わせることで、単独のDNNやLSTM RNNと比較して、大語彙音声認識性能が向上するか？
• RQ2 周波数ドメインにおける畳み込み処理と時間ドメインにおける再帰処理を統合することで、スペクトル的および時間的変動のモデル化にどのような影響を与えるか？
• RQ3 プーリング、プロジェクション層、深層スタックなどのアーキテクチャ的選択が、認識精度およびパラメータ効率に与える影響は何か？
• RQ4 提案されたCRNNアーキテクチャは、大規模音声認識タスクにおいて最先端のLSTMベースのシステムを上回る性能を達成するか？

主な発見

• 提案されたLSTM-CRNNモデルは、強力なLSTMベースラインシステムと比較して、7.1%の相対的語誤り率（WER）の低減を達成した。
• 最も優れた性能を示した構成は、CLSTMP層に続く第二のLSTMP層であり、テストセットでCERが31.43%に達した。
• LSTMセル数を256から384に増加させることで、CERは34.81%から34.12%に低下し、容量を大きくすることで性能向上が確認された。
• CLSTMPネットワークにおけるプロジェクション層の使用により、パラメータ数が削減されながら性能に悪影響を与えず、より効率的なモデルが実現された。
• 2つの畳み込み再帰層をスタックすることで、単層モデルと比較して3.8%の相対的WER改善が得られた。
• 512個のLSTMセルと256次元のプロジェクション層を備えたモデル（CLstm512P256）は、CERが34.03%に達し、容量をさらに拡大することで継続的な性能向上が確認された。