[論文レビュー] Segmental Recurrent Neural Networks for End-to-end Speech Recognition

Liang Lu, Lingpeng Kong+3 more|arXiv (Cornell University)|Mar 1, 2016

Speech Recognition and Synthesis参考文献 27被引用数 42

ひとこと要約

本稿では、双方向LSTMエンコーダーとゼロ次元のセグメンテーション条件付き確率場（CRF）を共同で学習することで、外部特徴量やセグメンテーションに依存せずにエンド・ツー・エンド学習が可能なセグメンテーションRNNを提案する。このモデルは、言語モデルを用いず、生の音響特徴量のみを用いてTIMITで17.3%のフォンムエラー率（PER）を達成し、従来のCRFベースのシステムを上回る性能を発揮した。

ABSTRACT

We study the segmental recurrent neural network for end-to-end acoustic modelling. This model connects the segmental conditional random field (CRF) with a recurrent neural network (RNN) used for feature extraction. Compared to most previous CRF-based acoustic models, it does not rely on an external system to provide features or segmentation boundaries. Instead, this model marginalises out all the possible segmentations, and features are extracted from the RNN trained together with the segmental CRF. In essence, this model is self-contained and can be trained end-to-end. In this paper, we discuss practical training and decoding issues as well as the method to speed up the training in the context of speech recognition. We performed experiments on the TIMIT dataset. We achieved 17.3 phone error rate (PER) from the first-pass decoding --- the best reported result using CRFs, despite the fact that we only used a zeroth-order CRF and without using any language model.

研究の動機と目的

• 外部システムに依存せずに特徴抽出とセグメンテーションを共同で学習できる自己完結型のエンド・ツー・エンド音響モデルの開発を目的とする。
• HMMやCTCの限界を克服し、連鎖的な依存関係を半マルコフ性を持つCRFでモデル化し、共同学習によって実現する。
• 教師付きセグメンテーションや外部特徴量の必要性を排除することで、従来のCRFベースのモデルを上回る性能を実現することを目的とする。
• エンド・ツー・エンドの学習が可能なゼロ次元セグメンテーションCRFが、言語モデルを用いずともTIMITで最先端の結果を達成できることを示すこと

提案手法

• モデルは、生の音響フレームから文脈に配慮した特徴を抽出するための双方向LSTMエンコーダーを用いる。
• ゼロ次元のセグメンテーションCRFは、出力ラベルとそのセグメント境界の連鎖的条件付き確率を定義する。
• 学習中にすべての可能なセグメンテーションの周辺分布をとることで、RNNとCRFのパラメータを同時に最適化可能となる。
• サブサンプリングネットワークにより、CRFデコードの前に系列長を圧縮し、計算コストを低減する。
• 過学習を防ぐためにドロップアウトと重み正則化を適用し、特にTIMITのような小規模データセットにおいて有効である。
• デコードには動的プログラミングとビームサーチを用い、学習済みモデル下での最も確率の高いラベル系列を探索する。

実験結果

リサーチクエスチョン

• RQ1 外部特徴量やセグメンテーションに依存せずに、RNNエンコーダーとセグメンテーションCRFをエンド・ツー・エンドで効果的に学習できるか？
• RQ2 TIMITにおけるゼロ次元セグメンテーションCRFの性能は、高次元または言語モデルを補完するシステムと比べてどうか？
• RQ3 このエンド・ツー・エンド設定における認識精度に、モデルの深さ、幅、正則化の影響は何か？
• RQ4 RNNとセグメンテーションCRFを共同で学習することで、外部システムや第二段階のリスコアリングに依存する従来のCRFベースのモデルを上回れるか？

主な発見

• 本モデルは、言語モデルを用いず、生の音響特徴量のみを用いてTIMITデータセットで17.3%のフォンムエラー率（PER）を達成し、CRFベースのシステムとしては新たなSOTAを樹立した。
• 6層の双方向LSTM（250ユニット）にドロップアウト正則化を適用したモデルが最良の性能を示し、モデル容量と正則化の重要性を示した。
• 適切に設計されたKaldi特徴量（39次元のMFCCにLDA、MLLT、SVDを適用）を用いることでPERは17.3%に低下し、特徴量の質の影響を実証した。
• 本モデルは、教師付きセグメンテーションや第二段階のリスコアリングを用いた従来のCRFシステムの第一段階デコード結果をも上回った。
• 言語モデルを搭載していないにもかかわらず、CTC やアテンションベースのRNNといった最先端のエンド・ツー・エンドモデルと同等の性能を発揮した。
• アブレーションスタディの結果、ドロップアウトを含む大規模モデルは一般化性能が高く、正則化なしのモデルは小規模なTIMITデータセットで過学習を示した。