[論文レビュー] Relaxed Control and Gamma-Convergence of Stochastic Optimization Problems with Mean Field

Lijun Bo, Agostino Capponi+1 more|arXiv (Cornell University)|Jun 20, 2019

Model Reduction and Neural Networks被引用数 2

ひとこと要約

この論文は、連続層の理想化からのサンプリングを通じて、深層残差ネットワークにおける平均場確率的最適化の最適な緩められた制御の存在を確立する。サンプル化された目的関数の汎関数が、確率的環境下での非線形 Fokker-Planck-Kolmogorov 方程式の解に関連する極限にガンマ収束することを証明し、最適なネットワーク重みが分布の意味でノイマン境界条件を満たす2階微分方程式を解くことで計算可能であることを示す。

ABSTRACT

We study a class of stochastic optimization problems of the mean-field type arising in the optimal training of a deep residual neural network. We consider the sampling problem arising from a continuous layer idealization, and establish the existence of optimal relaxed controls when the training set has finite size. The core of our paper is to prove the Gamma-convergence of the sequence of sampled objective functionals, i.e., show that as the size of the training set grows large, the minimizer of the sampled relaxed problem converges to that of the limiting optimization problem. We connect the limit of the large sampled objective functional to the unique solution, in the trajectory sense, of a nonlinear Fokker-Planck-Kolmogorov (FPK) equation in a random environment. We construct an example to show that, under mild assumptions, the optimal network weights can be numerically computed by solving a second-order differential equation with Neumann boundary conditions in the sense of distributions.

研究の動機と目的

• 深層残差ネットワーク学習に由来する確率的最適化問題における最適な緩められた制御の存在を確立すること。
• 訓練データサイズが増加する際のサンプル化された目的関数の収束を分析すること。
• サンプル化された目的関数の極限が、確率的環境下での非線形 Fokker-Planck-Kolmogorov (FPK) 方程式の解と関連することを示すこと。
• 最適なネットワーク重みが、分布の意味でノイマン境界条件を満たす2階微分方程式を解くことで数値的に計算可能であることを実証すること。

提案手法

• 連続層の理想化を用いて深層残差ネットワークの学習をモデル化し、平均場確率的最適化問題に帰着させる。
• 最適化の多様性と滑らかでない性質を扱うために緩められた制御を導入する。
• 訓練データサイズが無限大に近づく際のサンプル化された目的関数の汎関数のガンマ収束を証明する。
• 極限汎関数と確率的環境下での非線形 Fokker-Planck-Kolmogorov (FPK) 方程式の唯一の解との間の関係を確立する。
• 分布の意味で最適なネットワーク重みを特徴付けるノイマン境界条件を満たす2階微分方程式を構築する。
• 分布の解を用いることで、弱い仮定の下で最適な重みの数値計算を可能にする。

実験結果

リサーチクエスチョン

• RQ1 訓練データサイズが増加する際、平均場確率的最適化におけるサンプル化された目的関数の汎関数は、極限の汎関数に収束するか？
• RQ2 サンプル化された目的関数の極限は、確率的環境下での非線形 Fokker-Planck-Kolmogorov (FPK) 方程式の解と関連するか？
• RQ3 最適なネットワーク重みは、ノイマン境界条件を満たす2階微分方程式を解くことで計算可能か？
• RQ4 サンプル化された緩められた問題の最小化子が、極限問題の最小化子に収束する条件は何か？
• RQ5 緩められた制御は、このクラスの平均場最適化問題における存在性と収束を保証するために果たす役割は何か？

主な発見

• 訓練データサイズが大きくなるに従い、サンプル化された目的関数の汎関数は極限の汎関数にガンマ収束する。
• 極限の汎関数は、確率的環境下での非線形 Fokker-Planck-Kolmogorov (FPK) 方程式の唯一の解と関連している。
• 最適なネットワーク重みは、分布の意味でノイマン境界条件を満たす2階微分方程式を解くことで計算可能である。
• 有限の訓練データセットに対し、最適な緩められた制御の存在が確立された。
• 弱い仮定の下で、サンプル化された問題からの最小化子が極限問題への最小化子に収束することが保証された。
• 本フレームワークにより、ODEの分布的解を用いた最適な重みの数値計算が可能となり、深層残差ネットワークの学習に実行可能な道筋が提供された。