[論文レビュー] Kinetic Theory for Residual Neural Networks

Michaël Herty, Torsten Trimborn+1 more|arXiv (Cornell University)|Jan 7, 2020

Model Reduction and Neural Networks参考文献 25被引用数 4

ひとこと要約

この論文は運動論を用いて残差畳み込みニューラルネットワークを分析し、簡略化されたResNet（SimResNet）の無限幅極限において、データ分布を記述するVlasov型方程式を導出する。トレーニングが確率分布のフィッティングに相当することを示し、安定性、クラスタリング、回帰に関する解析的結果が数値的に検証されている。

ABSTRACT

Deep residual neural networks are performing very well for many data science applications. We use kinetic theory to improve understanding of existing methods. A simplified residual neural network (SimResNet) model, in which each layer consists of one neuron per input dimension at most, is studied in the limit of infinitely many inputs. This leads to a Vlasov type equation for the distribution of data, and we analyze it with respect to sensitivities and steady states. In the simple case of a linear activation function we can study moment model properties for one-dimensional input data. Further, a modification of the microscopic dynamics leads to a Fokker-Planck type formulation of the SimResNet, in which the concept of network training is replaced by the task of fitting distributions. The performed analysis is validated by numerical simulations. In particular, results on clustering and regression problems are presented.

研究の動機と目的

• 運動論の観点から残差ニューラルネットワークのダイナミクスを理解すること。
• 平均場近似を用いて、SimResNetの無限入力極限における挙動を分析すること。
• データ分布の進化を記述するVlasov型方程式を導出し、その性質を検討すること。
• Fokker-Planck形式を用いて、ネットワークトレーニングと分布フィッティングの関係を明らかにすること。
• クラスタリングおよび回帰タスクにおける理論的予測を数値シミュレーションで検証すること。

提案手法

• 入力次元ごとに1つのニューロンを持つ簡略化された残差ネットワーク（SimResNet）を定式化し、無限に多くの入力を仮定する。
• 層間におけるデータ分布の進化を記述するVlasov型偏微分方程式を導出する。
• 線形活性化関数を仮定し、1次元入力空間におけるモーメントダイナミクスに注目してVlasov方程式を分析する。
• 修正された微視的ダイナミクスを導入し、Fokker-Planck型方程式を導出し、トレーニングを分布フィッティングのプロセスとして再解釈する。
• 数値シミュレーションを用いて、クラスタリングおよび回帰性能における理論的予測の妥当性を検証する。
• 分布ダイナミクスの定常状態および感度を分析し、安定性および一般化性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 無限幅極限において、データ分布は残差層をどのように通過するか？
• RQ2 導出されたVlasov型方程式の定常解および安定性特性は何か？
• RQ3 Fokker-Planck形式は、トレーニングプロセスをどのように分布フィッティングに再解釈するか？
• RQ4 線形活性化関数は、1次元データにおけるモーメントダイナミクスにどのような影響を及ぼすか？
• RQ5 理論的予測は、クラスタリングおよび回帰タスクにおける数値結果とどの程度一致するか？

主な発見

• Vlasov型方程式は、無限入力極限におけるSimResNetの平均場ダイナミクスを正確に記述する。
• 線形活性化関数の場合、モーメントモデルにより1次元データにおける分布進化を明示的に分析可能である。
• Fokker-Planck形式により、ネットワークトレーニングが目的のデータ分布へのフィッティング問題に再定式化される。
• 数値シミュレーションにより理論的予測が妥当であることが確認され、効果的なクラスタリングおよび回帰性能が得られている。
• Vlasov方程式の定常状態は、安定なデータ分布に対応しており、一般化の可能性を示唆している。
• 感度解析により、初期データ分布およびネットワークパラメータが収束性および安定性に与える影響が明らかになった。