[論文レビュー] Attentive batch normalization for lstm-based acoustic modeling of speech recognition

Fenglin Ding, Wu Guo+2 more|arXiv (Cornell University)|Jan 1, 2020

Speech Recognition and Synthesis参考文献 20被引用数 5

ひとこと要約

本論文では、自動音声認識（ASR）におけるLSTMベースの音響モデル向けに、強化されたバッチ正規化手法としてAttentive Batch Normalization（ABN）を提案する。注目メカニズムを用いた補助ネットワークにより、動的にバッチ正規化パラメータを生成することで、学習安定性と認識精度が向上し、標準的なバッチ正規化と比較して中国語およびウイグル語のASRタスクで顕著な向上を達成する。

ABSTRACT

Batch normalization (BN) is an effective method to accelerate model training and improve the generalization performance of neural networks. In this paper, we propose an improved batch normalization technique called attentive batch normalization (ABN) in Long Short Term Memory (LSTM) based acoustic modeling for automatic speech recognition (ASR). In the proposed method, an auxiliary network is used to dynamically generate the scaling and shifting parameters in batch normalization, and attention mechanisms are introduced to improve their regularized performance. Furthermore, two schemes, frame-level and utterance-level ABN, are investigated. We evaluate our proposed methods on Mandarin and Uyghur ASR tasks, respectively. The experimental results show that the proposed ABN greatly improves the performance of batch normalization in terms of transcription accuracy for both languages.

研究の動機と目的

• LSTMベースの音響モデルにおける標準的なバッチ正規化の限界を解消すること。
• 低リソースおよび複雑な音声認識状況下でのモデル一般化性能と学習収束性の向上。
• 補助ネットワークと注目メカニズムを用いたバッチ正規化の動的パラメータ適応の検討。
• フレームレベルおよび発話レベルのABNスキームの多様な言語ASRタスクへの有効性の評価。

提案手法

• 注目を強化した方法でバッチ正規化のスケーリングおよびシフトパラメータを予測する補助ネットワークを導入する。
• 正則化を向上させるために、正規化パラメータを生成する際、関連するコンテキスト特徴に注目する注目メカニズムを適用する。
• 2つのバリエーションを提案：フレームレベルABN（各時刻ごとにパラメータを計算）と発話レベルABN（全系列にわたるグローバルコンテキストを使用）。
• 注目モジュールはLSTMの隠れ状態に注目し、動的に適応的バッチ正規化パラメータを決定する。
• アーキテクチャの大幅な見直しを伴わず、標準的なLSTM音響モデルに統合可能であり、即座に適用可能な改善が可能。
• 補助ネットワークは、バックプロパゲーションを用いて主ASRモデルと同時にEnd-to-Endで学習される。

実験結果

リサーチクエスチョン

• RQ1 注目メカニズムは、LSTMベースの音響モデルにおけるバッチ正規化の適応性と性能を向上させることができるか？
• RQ2 フレームレベルと発話レベルのABNスキームは、認識精度と学習安定性の観点でどのように比較されるか？
• RQ3 ABNは、多様な低リソースおよび高リソースの音声認識タスクにおいて一貫した改善をもたらすか？
• RQ4 補助ネットワークによる動的パラメータ生成は、固定されたバッチ正規化統計を上回る性能を発揮するか？

主な発見

• ABNは中国語ASRにおいて、標準的なバッチ正規化を上回る顕著な転写精度の向上を達成する。
• 提案手法はウイグル語ASRにおいても顕著な向上を示し、低リソース環境での有効性を実証する。
• フレームレベルおよび発話レベルのABNスキームの両方がモデル性能を向上させるが、発話レベルはより強い正則化効果を示す。
• 注目を強化した補助ネットワークにより、より強固でコンテキストに配慮した正規化パラメータ生成が可能になる。
• アブレーションスタディにより、注目メカニズムと動的パラメータ生成が性能向上の主な要因であることが確認された。