[論文レビュー] Selection dynamics for deep neural networks

Hailiang Liu, Peter A. Markowich|arXiv (Cornell University)|May 22, 2019

Model Reduction and Neural Networks参考文献 58被引用数 7

ひとこと要約

本稿は、幅と深さの両方における連続極限をとることで、深層残差ニューラルネットワークの偏微分方程式（PDE）フレームワークを導入し、順方向伝播、適切な定式化、安定性、定常状態行動の厳密な数学的解析を可能にする。最適制御理論、変分法、ポントリャーギン最大原理を用いて逆学習問題の最適性条件を確立し、深層学習を力学系、PDE理論、最適制御と統合する画期的なPDEベースの基盤を提供する。これにより、標準的な誤差逆伝播法を超えた数値的安定性およびアルゴリズム設計の向上が可能となる。

ABSTRACT

This paper presents a partial differential equation framework for deep residual neural networks and for the associated learning problem. This is done by carrying out the continuum limits of neural networks with respect to width and depth. We study the wellposedness, the large time solution behavior, and the characterization of the steady states of the forward problem. Several useful time-uniform estimates and stability/instability conditions are presented. We state and prove optimality conditions for the inverse deep learning problem, using standard variational calculus, the Hamilton-Jacobi-Bellmann equation and the Pontryagin maximum principle. This serves to establish a mathematical foundation for investigating the algorithmic and theoretical connections between neural networks, PDE theory, variational analysis, optimal control, and deep learning.

研究の動機と目的

• 幅と深さの両方における連続極限を用いて、深層残差ニューラルネットワークの厳密な数学的枠組みを構築すること。
• ネットワークダイナミクスを記述する前方PDE問題の適切な定式化、長時間挙動、および定常解の解析。
• 変分法およびポントリャーギン最大原理を用いて、逆深層学習問題の最適性条件を確立すること。
• 古典的勾配降下法に代わる制御理論的アプローチを導入し、パrameter最適化のための連立前方・後方PDEを導出すること。
• 前方・後方PDEの数値的離散化を通じて、標準的な明示的エイラー法とは異なるネットワークアーキテクチャを生成し、新たな数値的アルゴリズムを可能とすること。

提案手法

• 幅と深さの両方における深層残差ネットワークの連続極限としてPDEモデルを導出。これにより、隠れユニットのダイナミクスを捉える。
• 前方問題を時間発展PDEとして定式化：∂ₜf = σ(a − B_b f)，初期条件 f(t=0) = f_I。
• 随伴ダイナミクスを用いて後方問題を定義：∂ₜr = B_b^T σ′(a − B_b f) r，端末条件 r(T) = f̃ − f(T)。
• ハミルトニアン・ジョルダン・ベルマン方程式およびポントリャーギン最大原理を適用し、学習問題の必要最適性条件を導出する。
• 2つのアルゴリズムを提案：勾配フリー最適化のためのプロキシマル交互最小化（PAM）スキーム、およびハミルトニアン最大化に基づく逐次近似法。
• 前方・後方PDEの数値的離散化を用いて、標準的なレイヤーチューリング方式とは異なる新たなネットワークアーキテクチャを生成する。

実験結果

リサーチクエスチョン

• RQ1 幅と深さの両方における深層残差ネットワークの連続極限をどのように定式化できるか。これにより、ネットワークダイナミクスのPDEモデルが得られるか。
• RQ2 得られた前方PDE系の適切な定式化、安定性、および長時間挙動特性は何か。
• RQ3 変分法およびポントリャーギン最大原理を用いて、逆学習問題を最適制御問題に再定式化できるか。
• RQ4 PDE系のハミルトニアン構造から導かれるネットワークパrameterの必要最適性条件は何か。
• RQ5 PDEベースの離散化により、標準的な誤差逆伝播法や明示的エイラー法とは異なる新たなネットワークアーキテクチャおよび改善された学習アルゴリズムが得られるか。

主な発見

• PDEフレームワークにより、幅と深さの連続極限を用いて深層残差ネットワークを統一的に数学的に取り扱うことが可能となり、隠れユニット間の内在的選択ダイナミクスが明らかになった。
• 適切な条件下で前方PDE問題は適切に定式化されており、時間に依存しない推定値および解のダイナミクスの安定性・不安定性基準が確立された。
• 逆学習問題はポントリャーギン最大原理を用いて最適性条件を導出し、ハミルトニアンに基づく最適化フレームワークが得られた。
• 提案されたPAMアルゴリズムは、任意の正のステップサイズτに対して損失関数が単調に減少することを保証し、標準的な勾配降下法よりも収束保証が向上した。
• ハミルトニアン最大化アルゴリズムは、レイヤー間の最適化を分離可能にし、並列処理を可能にするとともに、誤差逆伝播法を回避し、ハミルトニアン推定値による明示的な誤差制御が可能となった。
• 前方・後方PDEの離散化により、標準的な明示的エイラー法に基づく訓練とは異なる新たなネットワークアーキテクチャが得られ、深層学習における新たなアルゴリズム的道筋が示唆された。