[論文レビュー] Very Deep Convolutional Networks for End-to-End Speech Recognition

Yu Zhang, William Chan+1 more|arXiv (Cornell University)|Oct 10, 2016

Speech Recognition and Synthesis参考文献 19被引用数 10

ひとこと要約

この論文は、残差接続、バッチ正規化、ネットワーク・イン・ネットワーク（NiN）モジュール、畳み込みLSTMを備えた非常に深い畳み込みニューラルネットワーク（CNN）を提案し、エンドツーエンド音声認識を著しく向上させる。前段の双方向LSTMの前に15層の深層CNNと残差ブロックを積み重ねることで、言語モデルや語彙辞書なしでWSJテストセットで10.53%の語誤り率（WER）を達成し、ベースライン比で相対的に24.7%の改善を実現した。

ABSTRACT

Sequence-to-sequence models have shown success in end-to-end speech recognition. However these models have only used shallow acoustic encoder networks. In our work, we successively train very deep convolutional networks to add more expressive power and better generalization for end-to-end ASR models. We apply network-in-network principles, batch normalization, residual connections and convolutional LSTMs to build very deep recurrent and convolutional structures. Our models exploit the spectral structure in the feature space and add computational depth without overfitting issues. We experiment with the WSJ ASR task and achieve 10.5\% word error rate without any dictionary or language using a 15 layer deep network.

研究の動機と目的

• 浅いRNNを超える深さと表現力を持つ音声エンコーダーを導入することで、エンドツーエンド音声認識（ASR）を向上させること。
• コンピュータビジョン分野の深層学習技術（例：残差接続、バッチ正規化、NiN）を音声認識に応用し、一般化性能と最適化の向上を図ること。
• 畳み込みLSTMが、系列対系列モデルにおけるスペクトル構造の保持と過学習の低減にどのように寄与するかを検証すること。
• 言語モデルや語彙辞書なしで、WSJ ASRベンチマークで最先端の性能を達成すること。

提案手法

• アテンションベースのデコーダーと深層CNNベースのエンコーダーを備えた、系列対系列アーキテクチャを採用。
• エンコーダーでは、初期層でストライド付き畳み込みを用いて時系列次元を低減し、GPUメモリ使用量を削減。
• パラメータ数を削減しつつ、深さと非線形性を向上させるために、1×1畳み込みを用いたネットワーク・イン・ネットワーク（NiN）モジュールを導入。
• 訓練の安定化と正則化の役割を果たすために、バッチ正規化を適用。特に勾配分散が大きい深層モデルにおいて重要。
• 非常に深いネットワーク（最大15層）の訓練を可能にするために、残差接続を採用。これにより、性能劣化や最適化の悪化を回避。
• セル状態に畳み込みを適用することで、標準LSTMに代えて畳み込みLSTMを採用。これにより、スペクトル構造を保持し、過学習を低減。

実験結果

リサーチクエスチョン

• RQ1 非常に深い畳み込みネットワークに残差接続とバッチ正規化を組み合わせることで、エンドツーエンド音声認識性能が向上するか？
• RQ2 NiNモジュールと1×1畳み込みは、ASRにおけるより深い、よりパラメータ効率の良いモデルにどのように寄与するか？
• RQ3 標準LSTMを畳み込みLSTMに置き換えることで、音声のスペクトル的・時系列的特徴のモデリングが向上するか？
• RQ4 アーキテクチャの深さや部品統合（例：残差ブロック、バッチ正規化）が、エンドツーエンドASRにおけるWERに与える影響は何か？

主な発見

• 提案モデルは、言語モデルや語彙辞書なしで、WSJ eval92セットで10.53%の語誤り率（WER）を達成。これはベースラインseq2seqモデル比で顕著な改善である。
• 2つの初期畳み込み層の後に8つの残差ブロックを追加することで、WERが11.11%に低下し、ベースライン比で相対的に24.7%の改善が得られた。
• 残差ブロック内の標準LSTMを畳み込みLSTMに置き換えることで、さらに7%の相対的WER低減が得られ、10.53%に到達した。
• 15層（8つの残差ブロックとNiNモジュールを含む）のモデルは、以前の最先端モデル（同じベンチマークで18.0% WERを報告）を上回る性能を示した。
• バッチ正規化は、深層モデルの訓練に不可欠であった。特に勾配分散が大きいアテンション勾配の発散を防ぐために重要であった。
• 畳み込みLSTMにおける3×1フィルタの使用は、時系列的ダイナミクスを効果的に捉えつつ、隠れ状態におけるスペクトル構造を保持するのに有効であると判明した。