[論文レビュー] Predict Globally, Correct Locally: Parallel-in-Time Optimal Control of Neural Networks

Panos Parpas, Corey Muir|arXiv (Cornell University)|Feb 7, 2019

Stochastic Gradient Optimization Techniques参考文献 22被引用数 11

ひとこと要約

本稿では、残差畳み込みニューラルネットワークを力学系における離散的時間点としてモデル化することにより、並列時系列最適制御手法を提案する。多層離散化とグローバル予測フェーズによる共状態近似を用いることで、層別並列性を実現し、データ並列SGDよりも高いスループットと効率性を達成する。精度と収束保証は、先行研究と比較してより弱い条件下でも同等である。

ABSTRACT

The links between optimal control of dynamical systems and neural networks have proved beneficial both from a theoretical and from a practical point of view. Several researchers have exploited these links to investigate the stability of different neural network architectures and develop memory efficient training algorithms. We also adopt the dynamical systems view of neural networks, but our aim is different from earlier works. We exploit the links between dynamical systems, optimal control, and neural networks to develop a novel distributed optimization algorithm. The proposed algorithm addresses the most significant obstacle for distributed algorithms for neural network optimization: the network weights cannot be updated until the forward propagation of the data, and backward propagation of the gradients are complete. Using the dynamical systems point of view, we interpret the layers of a (residual) neural network as the discretized dynamics of a dynamical system and exploit the relationship between the co-states (adjoints) of the optimal control problem and backpropagation. We then develop a parallel-in-time method that updates the parameters of the network without waiting for the forward or back propagation algorithms to complete in full. We establish the convergence of the proposed algorithm. Preliminary numerical results suggest that the algorithm is competitive and more efficient than the state-of-the-art.

研究の動機と目的

• 分散ディープラーニングにおける順方向および逆方向伝搬の逐次的ボトル neck を克服すること。
• 残差ネットワークの力学系的解釈を活用して、ニューラルネットワークトレーニングにおける真の層別並列性を実現すること。
• 完全な順方向および逆方向パスの待機を回避する分散最適化アルゴリズムを開発すること。
• 既存の合成勾配アプローチと比較して、より弱い仮定のもとで収束を保証すること。
• 特に大規模モデルにおいて、深層ネットワークで高い並列効率とスループットを達成すること。

提案手法

• 残差ニューラルネットワークを、層が力学系における時間ステップに対応する離散的最適制御問題としてモデル化する。
• グローバル予測フェーズで粗い離散化を用い、ネットワーク全体にわたる最適状態および共状態（随伴変数）を近似する。
• 細かい離散化を用いた局所補正フェーズを適用し、予測された状態および共状態を精緻化することで、並列更新を可能にする。
• Euler法やVerlet法を含む多層時間離散化を用いて共状態推定を高速化し、完全なバックプロパゲーションに依存するのを軽減する。
• 時間（層）に沿ってネットワークを分割し、随伴に基づく勾配近似を用いてサブシステムを並列に最適化する。
• 逆方向伝搬に回帰ステップを統合し、共状態推定を補正することで、精度と収束性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 力学系の視点を用いることで、深層ニューラルネットワークにおける順方向および逆方向伝搬の逐次的性質を克服できるか？
• RQ2 最適制御理論を用いることで、精度を最小限に損ないつつ、残差ネットワークの時系列並列トレーニングが可能になるか？
• RQ3 グローバル予測と局所補正を組み合わせた多層離散化スキームは、合成勾配法と比較して収束性と効率性を向上させるか？
• RQ4 共状態近似の品質が、分散環境下でのトレーニング安定性およびスループットに与える影響は何か？
• RQ5 提案手法は、異なるネットワークの深さやデータセットにおいて、スループットおよび並列効率の観点でどのようにスケーリングするか？

主な発見

• 提案手法は、特に深層ネットワーク（例：32層以上）において、データ並列SGDと同等またはそれ以上のスループットを達成し、MNISTおよびスイスロールデータセットで75%以上の並列効率を示した。
• スイスロールデータセットでは、32～64層のネットワークにおいて、データ並列SGDを上回る速度性能を示し、より深いアーキテクチャにおいてスループットが増加した。
• 逆方向伝搬における回帰ステップの平均二乗誤差は、グローバル予測フェーズを用いることで1桁以上低下し、ゼロに収束した。これにより、手法の安定性および収束仮定の妥当性が裏付けられた。
• 多段階Verlet離散化スキームは、MNISTおよび合成データセットの結果から、確率的勾配降下法と同等の精度を達成した。
• 本手法の並列効率（75%）は、先行する時系列並列手法（例：Güntherら, 2018年では3–4%）およびHuoら（2018年）で報告された50%を著しく上回った。
• 数値結果から、本手法は最先端の手法と競合可能であり、モデルの深さに伴い、粗いモデルの計算コストの相対的低減により性能が向上することが示された。