[論文レビュー] Accelerating Training in Artificial Neural Networks with Dynamic Mode Decomposition

Mauricio Tano, Gavin Portwood+1 more|arXiv (Cornell University)|Jun 18, 2020

Model Reduction and Neural Networks参考文献 11被引用数 4

ひとこと要約

本稿では、各層の重み変化をモデル化・予測するために動的モード分解（DMD）を用いた、深層ニューラルネットワーク（DNN）学習の高速化手法を提案する。バックプロパゲーションのステップ数を減らし、収束した重み状態を近似することで実現する。反応性汚染物質輸送の回帰タスクにおいて、平均二乗誤差を約100倍低減し、ノイズ低減を達成した。これにより、完全なバックプロパゲーションサイクルを減らしつつ、より高速で安定した学習が可能になった。

ABSTRACT

Training of deep neural networks (DNNs) frequently involves optimizing several millions or even billions of parameters. Even with modern computing architectures, the computational expense of DNN training can inhibit, for instance, network architecture design optimization, hyper-parameter studies, and integration into scientific research cycles. The key factor limiting performance is that both the feed-forward evaluation and the back-propagation rule are needed for each weight during optimization in the update rule. In this work, we propose a method to decouple the evaluation of the update rule at each weight. At first, Proper Orthogonal Decomposition (POD) is used to identify a current estimate of the principal directions of evolution of weights per layer during training based on the evolution observed with a few backpropagation steps. Then, Dynamic Mode Decomposition (DMD) is used to learn the dynamics of the evolution of the weights in each layer according to these principal directions. The DMD model is used to evaluate an approximate converged state when training the ANN. Afterward, some number of backpropagation steps are performed, starting from the DMD estimates, leading to an update to the principal directions and DMD model. This iterative process is repeated until convergence. By fine-tuning the number of backpropagation steps used for each DMD model estimation, a significant reduction in the number of operations required to train the neural networks can be achieved. In this paper, the DMD acceleration method will be explained in detail, along with the theoretical justification for the acceleration provided by DMD. This method is illustrated using a regression problem of key interest for the scientific machine learning community: the prediction of a pollutant concentration field in a diffusion, advection, reaction problem.

研究の動機と目的

• 大規模DNNの学習にかかる高い計算コストに対処すること、特にハイパーパramーターやアーキテクチャのチューニングが不可欠な科学的機械学習分野において。
• 複雑な回帰問題、例えば汚染物質拡散モデリングなどに学習させたDNNにおける、収束の遅さとノイズの多い重みダイナミクスを克服すること。
• DMDを用いて収束した重み状態を予測するデータ駆動型で低コストな手法を開発し、完全なバックプロパゲーションイテレーションへの依存を減らすこと。
• 訓練時間の大幅な短縮により、DNNアーキテクチャの迅速なプロトタイピングと最適化を可能にすること。同時に、正確性を維持または向上させること。
• 線形SVDを非線形多様体表現に置き換えることで、重み変化ダイナミクスをより良く捉える可能性を検討すること。

提案手法

• 本手法は、各層の初期バックプロパゲーションステップから得られる重み変化の主要方向を特定するために、適切な直交分解（POD）を用いる。
• 動的モード分解（DMD）を用いて、これらの主要方向に沿った重みの時間的ダイナミクスをモデル化し、重み変化の低ランク近似を学習する。
• DMDモデルは、1回の評価で近似的な収束重み状態を予測し、そのステップにおける完全なバックプロパゲーションを回避する。
• DMD予測状態から数ステップの完全バックプロパゲーションを実行した後、主方向とDMDモデルを繰り返し更新することで予測を精緻化する。
• DMDベースの予測と短いバックプロパゲーションフェーズを交互に繰り返すことで、合計の計算量を削減しながら収束を維持する。
• TensorFlowベースの訓練パイプラインに統合されており、GPUアクセラレーションによりさらにウォールタイムを短縮可能である。

実験結果

リサーチクエスチョン

• RQ1 DMDは、DNN学習中の重み変化の低ランクダイナミクスを効果的にモデル化できるか？
• RQ2 DMDで予測された収束重み状態は、DNN学習における必要なバックプロパゲーションステップ数をどの程度削減できるか？
• RQ3 回帰タスクにおいて、DMDベースの高速化は、標準的なバックプロパゲーションと比較して収束速度とノイズ低減の点でどのように優れているか？
• RQ4 DMDは、高次元で感受性が強い科学的問題に学習させたDNNの訓練安定性を向上させ、誤差を低減できるか？
• RQ5 DMDにおける線形SVDを非線形多様体表現に置き換えた場合、重み変化ダイナミクス予測の正確性にどのような影響を与えるか？

主な発見

• DMDベースの手法は、標準的なバックプロパゲーションと比較して、学習中の平均二乗誤差を約100倍低減した。
• Adam最適化子に内在する確率的ノイズを上回る、顕著なノイズ低減が重み軌道で観察された。
• 収束に必要な完全なバックプロパゲーションステップ数の削減により、顕著な計算コストの削減が達成された。
• 初期の数ステップのバックプロパゲーションでダイナミクスをキャリブレーションしただけで、DMDモデルは収束重み状態を高い精度で予測できた。
• 本手法は、特に高入力感受性を示す挑戦的な反応性汚染物質輸送回帰問題において、より高速な学習と改善された安定性を実現した。
• 今後の研究では、DMDにおける線形SVDを非線形多様体表現に置き換えることで、より長い学習シーケンスにわたる予測精度の向上と誤差低減が期待できる。