[論文レビュー] Generalization bounds for neural ordinary differential equations and deep residual networks

Pierre Marion|arXiv (Cornell University)|May 11, 2023

Model Reduction and Neural Networks被引用数 8

ひとこと要約

この論文はパラメータ付き常微分方程式に基づくリプシッツ性を用いた一般化境界を導出し、それがニューラルODEを含むこと、ディープ残差ネットワークに対して深さに依存しない境界を得ること、境界項が連続する重みの差分に結びつくことを示す。

ABSTRACT

Neural ordinary differential equations (neural ODEs) are a popular family of continuous-depth deep learning models. In this work, we consider a large family of parameterized ODEs with continuous-in-time parameters, which include time-dependent neural ODEs. We derive a generalization bound for this class by a Lipschitz-based argument. By leveraging the analogy between neural ODEs and deep residual networks, our approach yields in particular a generalization bound for a class of deep residual networks. The bound involves the magnitude of the difference between successive weight matrices. We illustrate numerically how this quantity affects the generalization capability of neural networks.

研究の動機と目的

• 時系列依存のニューラルODEとそれと残差ネットワークとの関係性の統計的性質を動機づけ、研究する。
• 時間依存および時間非依存のニューラルODEを包含するパラメータ付きODEの一般化境界を導出する。
• 深層残差ネットワークへ境界を拡張し、従来の複雑さ結果と比較する。
• 境界がモデル特性とどのようにスケールするかを示し、重み差分が一般化につ与える影響を数値的に洞察する。

提案手法

• 時変パラメータを持つパラメータ付きODEとしてニューラルODEをモデル化し、リプシッツ境界付き成分を用意する。
• Picard–Lindelöfとグロンウェルの不等式を用いて入力-出力写像 F_theta の良定性とリプシッツ連続性を示す。
• 複雑さを控制するためにパラメータクラス Theta のepsilon-カバー数を計算する。
• カバー数とリプシッツ定数に依存する項を含む一般化境界を導出し、パラメータが無限次元の場合には O(n^{-1/4}) の収束率を得る。
• W が時間不変のニューラルODE に特化すると O(n^{-1/2}) の標準的な収束率を回復する。
• このアプローチをディープ残差ネットワークへ拡張するには、ODEを残差ネットワークへ離散化し、層間の重み差分にリプシッツ制約を課す。
• ニューラルODEへの導出コロラリと、ディープ残差ネットワークへの定理を提供する。
• 深さに依存しない性質が重み差分制約から生じることを論じ、その含意を分析する。

(a) Generalization gap as a function of the maximum Lipschitz constant of the weights. Each dot corresponds to a network trained with a varying number of epochs (between $1$ and $30$ ).

実験結果

リサーチクエスチョン

• RQ1 リプシッツベースの複雑さフレームワークは、ニューラルODEとそれらの離散的残差対応に対して意味のある一般化境界を与えられるか。
• RQ2 一般化誤差境界は(i) 基底関数数 m, (ii) パラメータ上限 R_theta, (iii) リプシッツ定数 K_f, K_theta のどれとどうスケールするか。
• RQ3 ニューラルODE の時間依存性は、一般化境界の収束率に影響を与えるか。
• RQ4 層間の連続する重み差分の境界は、残差ネットワークの深さ非依存的な一般化を達成するうえでどんな役割を果たすか。

主な発見

• パラメータ付きODEの一般化境界が確立されており、時間依存・時間非依存のニューラルODEに適用可能で、無限次元パラメータの場合は収束率が O(n^{-1/4}) となり得る。
• 時間不変重みをもつニューラルODE に対するコロラリは標準的な O(n^{-1/2}) のレートを与え、有限パラメータの場合と一致する。
• 連続する重み行列の最大差分制約の下で、深さに依存しない一般化境界がディープ残差ネットワークに対して導出され、深さが増してもこの境界は有界のままである。
• 境界は新しい量である「連続する重み行列差分の大きさ」に依存し、重みの変化が一般化ギャップに与える影響を数値的説明で直感的に示す。
• MNIST に関する数値実験は、リプシッツ様の重み差分測度と一般化ギャップの関係を示し、重み差分ペナルティが一般化へ与える影響を示す。

(b) Generalization gap as a function of the penalization factor $\lambda$ . The experiment is repeated $20$ times for each value of $\lambda$ . Each time, the network is trained for $50$ epochs. The initial and final matrices are random. The value $\lambda=\infty$ corresponds to a weight-tied networ