[論文レビュー] Exponential Moving Average Model in Parallel Speech Recognition Training

Xu Tian, Jun Zhang+3 more|arXiv (Cornell University)|Mar 3, 2017

Natural Language Processing Techniques参考文献 12被引用数 3

ひとこと要約

本論文は、マルチGPUクラスタを用いた大規模並列音声認識学習のための非干渉的指数移動平均（EMA）手法を提案する。同期学習中にパラメータサーバーにのみモデルを更新し、ワーカーにブロードキャストしないことで、優れた性能を達成した。DNNにおいて、ベースラインのBMUFと比較して3.9%、単一GPU学習と比較して8.4%の中国語音声認識文字誤り率（CER）の低減を達成した。また、標準的なモデル平均化と比較して、ほぼ線形の高速化と向上した安定性を実現した。

ABSTRACT

As training data rapid growth, large-scale parallel training with multi-GPUs cluster is widely applied in the neural network model learning currently.We present a new approach that applies exponential moving average method in large-scale parallel training of neural network model. It is a non-interference strategy that the exponential moving average model is not broadcasted to distributed workers to update their local models after model synchronization in the training process, and it is implemented as the final model of the training system. Fully-connected feed-forward neural networks (DNNs) and deep unidirectional Long short-term memory (LSTM) recurrent neural networks (RNNs) are successfully trained with proposed method for large vocabulary continuous speech recognition on Shenma voice search data in Mandarin. The character error rate (CER) of Mandarin speech recognition further degrades than state-of-the-art approaches of parallel training.

研究の動機と目的

• 深層ニューラルネットワークの音声認識における大規模並列学習において、収束が遅くなることや性能が低下するという課題に対処すること。
• 通信オーバーヘッドを増加させることなく、マルチGPU分散学習におけるモデル一般化性能とテスト精度を向上させること。
• 同期的で分散型の並列学習における指数移動平均（EMA）が最終モデル推定器として有効であるかを検討すること。
• 大語彙連続音声認識（LVCSR）において、モデル平均化やベースラインのBMUF手法よりも優れた性能を達成すること。

提案手法

• 同期的マルチGPU学習中に、パラメータサーバーでのみ更新する非干渉的EMAを適用し、グローバルモデル推定値を維持する。
• 標準的なEMA更新ルールを用いる：$ \bar{\theta}_{t} = \alpha \bar{\theta}_{t-1} + (1 - \alpha) \theta_t $、ここで$ \theta_t $は段階$ t $における同期化されたモデルである。
• 8つのGPU間で分散型でピアツーピア通信を実装し、集中型パラメータサーバーのボトルネックを回避し、GPUの利用効率を最大化する。
• フレームスタック（3フレーム）を用いることで、時間的文脈を保持しつつ、計算量と学習時間を大幅に削減する。
• EMAを最終モデルとして用い、ローカルワーカーの更新を変更せずに、Shenma中国語音声検索データ上でDNNおよび一方向LSTMモデルを学習する。
• 性能評価には検証セットのFERとテストセットのCERを用い、デコード結果に基づいてEMAを最終モデルとして選択する。

実験結果

リサーチクエスチョン

• RQ1 EMAは、ワーカーの更新に干渉せずに、大規模並列音声認識学習における一般化性能とテスト精度を向上させることができるか？
• RQ2 LVCSRにおいて、EMAはモデル平均化（MA）やBMUFと比較して、収束の安定性と最終的なCERの観点で優れているか？
• RQ3 DNNやLSTMといった異なるアーキテクチャにおいて、中国語音声認識でEMAは一貫した性能向上をもたらすか？
• RQ4 EMAは、単一GPU学習と比較して、モデル精度を維持または向上させながら、ほぼ線形の高速化を達成できるか？

主な発見

• LSTMモデルにおいて、EMA手法はBMUFベースラインと比較してテストセットで相対的に3.9%のCER低減を達成した。
• 8層DNNでは、EMA手法がベースラインと比較してCERを相対的に8.4%低減し、より深いアーキテクチャにおいて顕著な向上を示した。
• EMAは、モデル平均化（MA）と比較して最終CERが優れており、MAは不安定な性能を示し、時としてBMUFを上回ることもあった。
• EMAモデルは、すべてのエポックにおいてMAよりも低いCERを継続的に達成しており、モデル選択におけるより高い安定性と信頼性を示した。
• フレームスタックにより、計算量と学習時間が顕著に削減され、最小限のオーバーヘッドで効率的な大規模学習が可能になった。
• ピアツーピア通信を用いた分散型学習環境により、GPUの利用効率が最大化され、同期時のアイドルタイムが回避された。