[論文レビュー] Deep Limits of Residual Neural Networks

Matthew Thorpe, Yves van Gennip|arXiv (Cornell University)|Oct 28, 2018

Model Reduction and Neural Networks被引用数 15

ひとこと要約

この論文は、深層残差ネットワークの深層層極限が、非線形常微分方程式（ODE）のパラメータ推定問題に変分的に収束することを確立している。Gamma収束を用いて、離散的な残差ネットワークと連続的力学系を厳密に結びつける。主な貢献は、最適なネットワークパラメータがこの極限において収束することを証明し、深層残差ネットワークをODEの離散化と解釈する理論的基盤を提供することである。

ABSTRACT

Neural networks have been very successful in many applications; we often, however, lack a theoretical understanding of what the neural networks are actually learning. This problem emerges when trying to generalise to new data sets. The contribution of this paper is to show that, for the residual neural network model, the deep layer limit coincides with a parameter estimation problem for a nonlinear ordinary differential equation. In particular, whilst it is known that the residual neural network model is a discretisation of an ordinary differential equation, we show convergence in a variational sense. This implies that optimal parameters converge in the deep layer limit. This is a stronger statement than saying for a fixed parameter the residual neural network model converges (the latter does not in general imply the former). Our variational analysis provides a discrete-to-continuum $Γ$-convergence result for the objective function of the residual neural network training step to a variational problem constrained by a system of ordinary differential equations; this rigorously connects the discrete setting to a continuum problem.

研究の動機と目的

• 深層層極限において、離散的な残差ニューラルネットワークを連続的力学系に厳密に結びつけること。
• 深さが増す際、残差ネットワークの最適パラメータが収束することを確立し、点ごとの収束を超えて示すこと。
• Gamma収束を用いた変分的枠組みを提供し、ResNetの訓練目的の極限的挙動を理解すること。
• 残差ネットワークのODE解釈を連続極限として正当化し、ネットワーク挙動の理論的分析を支援すること。
• 今後のPDE極限および深層ネットワークにおける暗黙の正則化の分析の基盤を築くこと。

提案手法

• Haber & Ruthotto (2017) のモデルの修正版を用いて、残差ネットワークを連続ODE系の離散時間差分法として形式化すること。
• 訓練目的関数にGamma収束を適用し、ODE系に制約を課した変分問題への収束を示すこと。
• 共通の活性化関数と層ごとの重み・バイアスを持つ関数族を用い、一様有界性およびリプシッツ連続性を仮定すること。
• コンパクト性と下方下半連続性に依存し、部分列抽出と一様収束の議論を用いて最小化子の収束を証明すること。
• 任意の最小化子の列が、極限汎関数の唯一の最小化子に一様収束することを確立すること。
• 層数 $n$ に比例して時間ステップを $1/n$ にスケーリングする離散的から連続的極限を定義し、連続的制御関数 $K(t), b(t)$ を導出すること。

実験結果

リサーチクエスチョン

• RQ1 深さが増すに従い、残差ニューラルネットワークの訓練目的が、well-definedな連続的問題に変分的に収束するか？
• RQ2 深層層極限において、ネットワーク出力だけでなく、最適パラメータが収束することを示せるか？
• RQ3 特にGamma収束という変分的枠組みが、残差ネットワークのODE解釈を正当化できるか？
• RQ4 パラメータの収束が、極限問題におけるODE制約の構造とどのように関係するか？
• RQ5 この収束の結果が、新たなニューラルネットワークアーキテクチャの設計と分析に与える影響は何か？

主な発見

• 残差ネットワークの深層層極限における訓練目的は、非線形ODE系を含む制約付き変分問題に変分的に収束する。
• 最適なネットワークパラメータ—重み $K_i$、バイアス $b_i$、および最終層パラメータ—は、深さ $n \to \infty$ の極限において、連続的制御関数に一様収束する。
• 極限問題は、非線形ODEのパラメータ推定問題に等価であり、深層残差ネットワークの厳密な数学的解釈を提供する。
• 収束はGamma収束の枠組みによって確立され、離散問題の最小化子が連続問題の最小化子に収束することを保証する。
• 証明はコンパクト性の議論と部分列抽出に依存し、最終的に最小化子の全列が一様収束することを示している。
• この結果は、従来の残差ネットワークがODE離散化に類似しているという観察を強化し、ネットワーク出力だけでなく最適パラメータの収束を証明することで、より強い根拠を提供する。