[論文レビュー] Parallel training of DNNs with Natural Gradient and Parameter Averaging

Daniel Povey, Xiaohui Zhang+1 more|arXiv (Cornell University)|Oct 27, 2014

Neural Networks and Applications参考文献 24被引用数 123

ひとこと要約

本論文は、複数台のマシンを用いたディープニューラルネットワーク（DNN）の並列学習のためのスケーラブルでハードウェアに依存しないフレームワークを提案する。このフレームワークでは、1〜2分ごとにパラメータを平均化し、効率的な近似自然勾配法（NG-SGD）を組み合わせることで、通信量を抑えつつ、最大8つのGPUでほぼ線形のスループット向上を達成した。これにより、大規模な音声認識の学習において収束性と安定性が著しく向上した。

ABSTRACT

We describe the neural-network training framework used in the Kaldi speech recognition toolkit, which is geared towards training DNNs with large amounts of training data using multiple GPU-equipped or multi-core machines. In order to be as hardware-agnostic as possible, we needed a way to use multiple machines without generating excessive network traffic. Our method is to average the neural network parameters periodically (typically every minute or two), and redistribute the averaged parameters to the machines for further training. Each machine sees different data. By itself, this method does not work very well. However, we have another method, an approximate and efficient implementation of Natural Gradient for Stochastic Gradient Descent (NG-SGD), which seems to allow our periodic-averaging method to work well, as well as substantially improving the convergence of SGD on a single machine.

研究の動機と目的

• 複数のGPU搭載マシンを用いて、大規模な音声認識データセットにおけるDNN学習のためのスケーラブルで通信効率の高い手法を開発すること。
• 分散学習において、パラメータの平均化が稀な場合に標準的なSGDが不安定になり収束が悪くなる問題に対処すること。
• ネットワークトラフィックを最小限に抑えつつモデル品質を維持することで、ハードウェアに依存しない並列学習を可能にすること。
• 周期的なパラメータ平均化とNG-SGDの組み合わせが安定で高速な収束をもたらすことを実験的に検証すること。
• Kaldiツールキットにおける大規模DNNの実用的で生産環境対応の学習フレームワークを提供すること。

提案手法

• 異なるランダム化されたデータサブセットを用いて、別々のマシン上で複数の独立したSGDプロセスを実行する。
• モデルパラメータを定期的に平均化（1〜2分ごと、または40万例ごと）し、すべてのマシンに再配布することで更新を同期する。
• 安定した学習と収束の加速を図るため、自然勾配確率的勾配降下法（NG-SGD）の効率的で近似された実装を適用する。
• 個々の学習率をマシン数で割ることで有効な学習率を調整する学習率スケジュールを変更し、更新の大きさを一貫させる。
• NG-SGDの「シンプル」版と「オンライン」版を実装し、後者は時間的依存性があるため序列学習に使用する。
• オンライン推論をサポートし、ストリーミングアプリケーションにおける話者適応を向上させるために、iベクトルを入力特徴として統合する。

実験結果

リサーチクエスチョン

• RQ1 複数台のマシン間で周期的なパラメータ平均化を適用することで、通信頻度を低く抑えつつ、DNN学習で線形のスループット向上が達成可能か？
• RQ2 パラメータ平均化と近似NG-SGDの組み合わせが、非凸なDNN最適化において安定で高速な収束をもたらすか？
• RQ3 単一マシンおよびマルチマシン環境下で、NG-SGDは標準的なSGDに比べて収束性をどのように改善するか？
• RQ4 提案手法を多様なマルチGPUまたはマルチコア環境にスケーラブルかつハードウェアに依存しない形で適用可能か？
• RQ5 iベクトルの統合が、ストリーミング音声認識におけるオンライン推論とモデル性能に与える影響は何か？

主な発見

• GPU数を1から8に増加させた際、通信オーバーヘッドを最小限に抑えつつ、ほぼ線形のスループット向上が達成された。
• パラメータ平均化のみでは収束が悪くなるが、NG-SGDと組み合わせることで安定的で高速な学習が実現された。
• NG-SGDは単一マシン上でも収束速度を著しく向上させ、大規模DNNの学習時間を短縮した。
• フレームワークはオフラインおよびオンライン推論を両方サポートし、iベクトルによりリアルタイムの適応と遅延の低減が可能になった。
• LDA、MLLT、fMLLR適応を用いた従来のシステムと同等またはそれ以上の性能を達成したが、転移学習の観点からより単純になった。
• 有効な学習率スケーリング（個々の学習率をマシン数で除算）が、安定性と収束性において極めて重要であることがわかった。