[論文レビュー] Maximum Principle Based Algorithms for Deep Learning

Qianxiao Li, Long Chen+2 more|arXiv (Cornell University)|Oct 26, 2017

Model Reduction and Neural Networks被引用数 82

ひとこと要約

この論文は深層学習を連続時間最適制御問題として解釈し、Pontryaginの最大原理(PMP)に基づく訓練アルゴリズムを導出する。具体的には反復近似法(MSA)と、収束保証と有利な初期収束、層のデカップル最適化、平坦な地形への頑健性の可能性を持つ拡張PMP/MSAを提案する。

ABSTRACT

The continuous dynamical system approach to deep learning is explored in order to devise alternative frameworks for training algorithms. Training is recast as a control problem and this allows us to formulate necessary optimality conditions in continuous time using the Pontryagin's maximum principle (PMP). A modification of the method of successive approximations is then used to solve the PMP, giving rise to an alternative training algorithm for deep learning. This approach has the advantage that rigorous error estimates and convergence results can be established. We also show that it may avoid some pitfalls of gradient-based methods, such as slow convergence on flat landscapes near saddle points. Furthermore, we demonstrate that it obtains favorable initial convergence rate per-iteration, provided Hamiltonian maximization can be efficiently carried out - a step which is still in need of improvement. Overall, the approach opens up new avenues to attack problems associated with deep learning, such as trapping in slow manifolds and inapplicability of gradient-based methods for discrete trainable variables.

研究の動機と目的

• 深層学習を連続時間最適制御問題として動機づけ、形式化する。
• 最適訓練のPMP条件を導出する。
• PMPを解く数値スキーム（MSA）を開発し、誤差・収束解析を提供する。
• 収束性を改善し、ダイナミクスの実現可能性を扱う拡張PMP/MSAを導入する。
• フレームワークを深い残差ネットワークと結びつけ、離散化とミニバッチの検討を論じる。

提案手法

• 損失 Φ(X_T) + ∫0^T L(θ_t) dt を用いて、動的系 Ẋ_t = f(t, X_t, θ_t) を定義する。
• ハミルトニアン H(t, x, p, θ) = p・f(t, x, θ) − L(θ) を導入し、PMP 条件(3)-(5) を述べる。
• 基本MSAを提案する：Xを交互に伝播させ、Pを解き、各時刻tでハミルトニアン最大化によってθを更新する。
• 拡張PMPへ修正し、拡張ハミルトニアン ṼH を用いてハミルトニアン動力学の実現可能性誤差をペナルティ化する；収束保証を持つ拡張MSA（E-MSA）を導出する。
• 残差ネットワークおよびバックプロパゲーションとの関係を示す離散時間形式を提供する。
• ミニバッチ拡張とハミルトニアン最大化の実用的考慮事項を論じる。

実験結果

リサーチクエスチョン

• RQ1 PMPは深層学習の勾配ベース訓練の実行可能で収束的な代替手段を提供できるか。
• RQ2 拡張PMP/MSAはハミルトニアン動力学の実現可能性誤差をペナルティ化することで収束を保証するか。
• RQ3 PMPベース訓練は収束速度と鞍点への感度の点でSGD/Adamとどう比較されるか。
• RQ4 PMPフレームワークを離散化して残差ネットワークおよびバックプロパゲーションとどう関連づけられるか。
• RQ5 ミニバッチ訓練の実用的考慮事項とハミルトニアン最大化の効率性はどうか。

主な発見

• PMPベースの訓練は層ごとに分離した前向き・後向きのハミルトニアン動力学を伴うハミルトニアン最大化を生み出し、潜在的な並列化を可能にする。
• 基本MSAは発散する可能性がある；十分に大きなρを取る拡張ハミルトニアンを用いた拡張MSAは拡張PMPへの収束保証を提供する。
• 拡張フレームワークは実現可能性項を通じた明示的な誤差制御と目的関数 J(θ) の減少をもたらす。
• 数値実験は、ハミルトニアン最大化が効率的なときE-MSAの各反復の初期収束速度が有利であることを示し、平坦な地形や鞍点付近での収束遅延を緩和できる。
• 離散時間形式は従来の残差ネットワーク訓練構造を回復し、最大化ステップの緩和は勾配ベースのバックプロパゲーションと結びつく。
• ミニバッチ拡張について議論され、適切な条件下で標準の大数法則(LLN)の議論に支えられた収束ヒューリスティクスが示される。