[論文レビュー] Frame Stacking and Retaining for Recurrent Neural Network Acoustic Model

Xu Tian, Jun Zhang+3 more|arXiv (Cornell University)|May 17, 2017

Speech Recognition and Synthesis参考文献 9被引用数 4

ひとこと要約

本稿では、従来の非因果的LSTM音声モデルにおける効率的なフレームスタックを実現するデコード時技術として、フレーム保持（frame retaining）を提案する。この手法は、既存のWFSTベースのデコーダーと互換性を保ちつつ、フレームスタックを可能にする。Nフレームを1つのスーパー・フレームに統合し、その出力をNフレームにわたって保持することで、ほぼ線形の学習速度向上が達成され、性能劣化を伴わず、リアルタイム要因（RTF）が41%低減される。中国語音声データでは文字誤り率（CER）がわずかに改善される。

ABSTRACT

Frame stacking is broadly applied in end-to-end neural network training like connectionist temporal classification (CTC), and it leads to more accurate models and faster decoding. However, it is not well-suited to conventional neural network based on context-dependent state acoustic model, if the decoder is unchanged. In this paper, we propose a novel frame retaining method which is applied in decoding. The system which combined frame retaining with frame stacking could reduces the time consumption of both training and decoding. Long short-term memory (LSTM) recurrent neural networks (RNNs) using it achieve almost linear training speedup and reduces relative 41\% real time factor (RTF). At the same time, recognition performance is no degradation or improves sightly on Shenma voice search dataset in Mandarin.

研究の動機と目的

• 従来のRNNデコーダーを変更した場合に生じるフレームスタックとデコーダーの非互換性を解消し、認識性能の低下を防ぐこと。
• CTCでないRNN音声モデルにおいて、デコーダーの再トレーニングやHMM構造の変更なしにフレームスタックを可能にすること。
• 認識精度を維持またはわずかに向上させつつ、学習およびデコードの両方で顕著な高速化を達成すること。
• 非因果的LSTMモデルを用いた大規模な中国語音声認識データセットを用いて、手法の有効性を検証すること。

提案手法

• フレームスタックは、連続するN個の音声フレームを1つのスーパー・フレームに統合し、入力シーケンス長をN分の1に短縮する。
• フレーム保持は、デコード段階でスーパー・フレームの出力をN個の元のフレームに複製し、正しいフレームレベルのアラインメントを維持する。
• 入力特徴数と出力フレーム数が一致するようにすることで、元のWFSTベースのデコーダーをそのままで保持する。
• 音声モデルは、ミニバッチSGDとモーメンタムを用いた交差エントロピー学習によりトレーニングされ、その後、大規模な中国語データセットでsMBR学習が実施される。
• 分散学習を効率的に行うために、ブロック単位のモデル更新フィルタリング（BMUF）と指数移動平均（EMA）を用いたMPIベースの分散HPCシステムが使用される。
• 入力として26次元のフィルタバンク特徴、2次元のピッチ、およびそれらの1階微分と2階微分を用い、出力クラスとして11,088個の結合状態（tied-states）を採用する。

実験結果

リサーチクエスチョン

• RQ1 従来の非CTC RNN音声モデルにフレームスタックを効果的に適用できるか、認識性能が劣化しないか？
• RQ2 標準的なWFSTベースのデコーダー環境下で、フレームスタックがデコード速度およびリアルタイム要因（RTF）に与える影響は何か？
• RQ3 フレームスタックにより入力フレーム数が減少する状況下で、デコード段階におけるフレーム保持がアラインメントの一貫性をどのように回復させるか？
• RQ4 フレームスタックとフレーム保持を組み合わせることで認識精度や速度が向上するか？また、最適なスタッキングおよび保持要因の設定は何か？

主な発見

• 標準デコーダーを用いた場合、フレームスタックのみでは文字誤り率（CER）が415%上昇し、モデル化された発話時間の不一致に起因する深刻な性能劣化が確認された。
• フレームスタック（FS=3）とフレーム保持（FR=3）を併用した場合、CERは3.81%に改善され、スタックなしのベースライン（3.89%）に対してわずかだが一貫した向上が得られた。
• FSとFRをともに3に設定した場合、リアルタイム要因（RTF）はベースライン比で41%低減され、最も高速なデコード速度が達成された。
• 最適な設定はFS=3およびFR=3であり、速度と精度の最良のトレードオフを実現し、RTFは0.41から0.24に低下した。
• 入力シーケンス長の短縮により、学習速度がほぼ線形に向上し、既存のWFSTデコーダーインfraと完全に互換性を持つ。
• 8-GPUを用いたBMUFおよびEMAを用いた分散学習により、モデル同期が効率的に行われる。この手法は、語彙数760,000、5-gram言語モデルを用いた大規模な中国語音声認識でも有効である。