[論文レビュー] Mean-Field Neural ODEs via Relaxed Optimal Control

Jean-François Jabir, David Šiška+1 more|arXiv (Cornell University)|Dec 11, 2019

Model Reduction and Neural Networks参考文献 74被引用数 14

ひとこと要約

本稿は、確率的勾配降下法で訓練されたベイジアンニューラルODEを分析するため、緩和最適制御を用いた平均場ニューラルODEフレームワークを導入する。ポントレヤーギンの最適性原理を導出し、平均場ランジエブンダイナミクス（MFLD）を研究することで、時間離散化されたMFLDの次元に依存しない収束レートを確立し、学習率、モデルサイズ、およびトレーニングデータの観点から一般化誤差を定量化する。これにより、連続時間および測度空間におけるディープラーニングの厳密な理論的基盤を提供する。

ABSTRACT

We develop a framework for the analysis of deep neural networks and neural ODE models that are trained with stochastic gradient algorithms. We do that by identifying the connections between control theory, deep learning and theory of statistical sampling. We derive Pontryagin's optimality principle and study the corresponding gradient flow in the form of Mean-Field Langevin dynamics (MFLD) for solving relaxed data-driven control problems. Subsequently, we study uniform-in-time propagation of chaos of time-discretised MFLD. We derive explicit convergence rate in terms of the learning rate, the number of particles/model parameters and the number of iterations of the gradient algorithm. In addition, we study the error arising when using a finite training data set and thus provide quantitive bounds on the generalisation error. Crucially, the obtained rates are dimension-independent. This is possible by exploiting the regularity of the model with respect to the measure over the parameter space.

研究の動機と目的

• 確率的勾配アルゴリズムで訓練されたベイジアンニューラルODEを分析する理論的枠組みの構築。
• 測度値ダイナミクスの観点から、ディープラーニング、最適制御理論、統計的サンプリングを結びつける。
• 時間離散化された平均場ランジエブンダイナミクス（MFLD）における、時間に一様な混沌の伝播の確立。
• 学習率、粒子数、反復回数に関して、MFLDの明示的かつ次元に依存しない収束レートの導出。
• 平均場極限における有限トレーニングデータセットに起因する一般化誤差の定量化。

提案手法

• パラメータ空間上の確率測度の空間における最適ニューラルODE重みの学習を、緩和最適制御問題として定式化する。
• 得られた平均場制御問題に対するポントレヤーギンの最適性原理を導出する。
• 確率測度空間上での平均場ランジエブンダイナミクス（MFLD）の勾配フローとしての分析。
• 確率的数値解析を適用し、誤差を制御する時間離散化近似をMFLDに導出する。
• パラメータ空間上の測度に関してモデルの正則性を活用することで、次元に依存しない収束レートを達成する。
• リプシッツ連続性およびモーメントバウンズに関する仮定を用いて、混沌の伝播およびサンプリング誤差の制御を行う。

実験結果

リサーチクエスチョン

• RQ1 ベイジアンニューラルODEのトレーニングは、確率測度空間における緩和最適制御問題としてどのように定式化できるか？
• RQ2 平均場極限における時間離散化された平均場ランジエブンダイナミクス（MFLD）の収束特性は何か？
• RQ3 学習率、粒子数、反復回数に関して、MFLDの次元に依存しない収束レートを導出できるか？
• RQ4 平均場状態における有限トレーニングデータセットに起因する一般化誤差の定量的バウンディングは何か？
• RQ5 MFLD近似における混沌の伝播は、時間に一様にどのように振る舞うか？

主な発見

• 本稿は、時間離散化された平均場ランジエブンダイナミクス（MFLD）の次元に依存しない収束レートを導出し、学習率、粒子数（モデルサイズ）、反復回数に明示的に依存することを示した。
• 時間離散化されたMFLDに対して、時間に一様な混沌の伝播が確立され、粒子の経験的測度が時間の経過とともに真の測度に収束することが保証された。
• 有限トレーニングデータセットに起因する一般化誤差が定量的にバウンディングされ、トレーニングセットのサイズに明示的な依存関係を示した。
• パラメータ空間上の測度に関してモデルの正則性を仮定することで、収束レートが次元に依存しないことを達成した。
• 解析により、ノイズを含む勾配アルゴリズムがパラメータ上の最適分布からサンプリングすることを確認し、ベイジアンニューラルODEの見解を支持した。
• 確率的数値解析およびマリヤン・微積分の技術を用いて理論的バウンディングを導出し、時間離散化とサンプリングノイズを含む明示的な誤差項を得た。