[論文レビュー] Mean-field Langevin System, Optimal Control and Deep Neural Networks

Kaitong Hu, Anna Kazeykina+1 more|arXiv (Cornell University)|Sep 16, 2019

Spectroscopy Techniques in Biomedical and Chemical Research参考文献 27被引用数 11

ひとこと要約

本稿では、最適制御問題の不変測度が最適制御に対応する確率過程を活用することで、高次元最適制御問題を解くための平均場ランゲビン系を導入する。弱い条件下でもグローバル最小値への収束を確立し、深層ニューラルネットワークにおける確率的勾配降下法の収束を裏付ける連続時間アルゴリズムを提供する。

ABSTRACT

In this paper, we study a regularised relaxed optimal control problem and, in particular, we are concerned with the case where the control variable is of large dimension. We introduce a system of mean-field Langevin equations, the invariant measure of which is shown to be the optimal control of the initial problem under mild conditions. Therefore, this system of processes can be viewed as a continuous-time numerical algorithm for computing the optimal control. As an application, this result endorses the solvability of the stochastic gradient descent algorithm for a wide class of deep neural networks.

研究の動機と目的

• 従来の勾配ベース手法が非凸性と高次元制御空間のため困難をきたす高次元最適制御問題を解く挑戦に応える。
• 凸性を要件としない連続時間の確率的アルゴリズムを、平均場ランゲビン力学に基づき構築する。
• 平均場ランゲビン系の不変測度と正則化された最適制御問題の解との間の厳密な関係を確立する。
• ランゲビン系の不変測度と関連づけることで、深層ニューラルネットワークにおける確率的勾配降下法の収束を理論的に裏付ける。

提案手法

• 制御を時間に依存する確率測度（法の流れ）として表現する正則化された緩和型最適制御問題を定式化する。
• ブラウン運動によって駆動される平均場スデ（確率微分方程式）の系を導入し、最適制御問題のハミルトニアンから得られる勾配項を漂移項として用いる。
• 弱い正則性およびリプシッツ条件のもとで、平均場ランゲビン過程の不変測度が元の問題の最適制御に対応することを証明する。
• カップリング技術と伊藤＝タナカの公式を用いて、過程の収縮性を確立し、過程の分布が不変測度に収束することを保証する。
• フォッカー＝プランク＝コルモゴロフ方程式を用いて、過程の分布の時間発展を分析し、時間周辺分布間のワッサーシュタイン距離に関する推定を得る。
• 相対エントロピー正則化のおかげで、測度空間における目的関数の凸性を活用することで、非凸設定でもグローバル最小値への収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 不変測度が高次元的・非凸的な最適制御問題の最適制御を与えるような連続時間確率過程を構築可能か？
• RQ2 平均場ランゲビン力学は、正則化された最適制御問題のグローバル最小値への収束をどのように保証するか？
• RQ3 漂移項および拡散係数にどのような条件を課すと、不変測度の存在・一意性と最適制御への収束が保証されるか？
• RQ4 この枠組みは、深層学習における確率的勾配降下法の経験的成功をどの程度正当化できるか？
• RQ5 適切なカップリングおよび正則性仮定の下で、過程の分布が不変測度に収束する速度をワッサーシュタイン距離を用いて定量的に評価できるか？

主な発見

• 係数のリプシッツ連続性および有界性といった弱い条件下で、平均場ランゲビン系の不変測度が元の正則化された最適制御問題の最適制御に一致することが示された。
• 収縮推定を用いたワッサーシュタイン距離における収束保証のもと、グローバル最小値への収束が保証される連続時間数値アルゴリズムを提供する。
• 適切な条件下で、過程の分布が不変測度に収束する速度は、ワッサーシュタイン距離 $\overline{\cal W}^{T}_{1}$ を用いて定量的に評価され、指数的減衰を示す。
• 過程 $\alpha^s$ が連続的勾配降下ダイナミクスに従うとき、$\frac{dV^0}{ds} = -\int_0^T |\nabla_a H|^2 dt$ を満たすことが示され、$V^0$ がリャプノフ関数であり、臨界点がポントリャーギン系の解に対応することが確認された。
• 本手法により、深層ニューラルネットワークにおける確率的勾配降下法の収束を理論的に裏付ける基盤が得られ、訓練ダイナミクスが不変測度が最適重み分布に対応する平均場ランゲビン過程としてモデル化できることを示した。
• 本稿では、対数ソボレフ型条件の下で、平均場スデの2つの解間のワッサーシュタイン距離が時間とともに指数的に減少することを証明した。その際、拡散係数 $\sigma$ およびハミルトニアンの導関数のリプシッツ定数に明示的な依存関係が現れる。