[論文レビュー] Do Residual Neural Networks discretize Neural Ordinary Differential Equations?

Michael E. Sander, Pierre Ablin+1 more|arXiv (Cornell University)|May 29, 2022

Model Reduction and Neural Networks被引用数 4

ひとこと要約

この論文は、Residual Neural Networks (ResNets) が、ResNet の軌道とその対応する連続的 ODE 解との間の離散化誤差を分析することで、Neural Ordinary Differential Equations (Neural ODEs) を近似するかどうかを調査している。深さに関する滑らかさの仮定がない場合、誤差は深さにかかわらず消えないが、勾配降下法は線形 ResNets を $1/N$ のレートで極限 Neural ODE に向けて implicitly regularize する。また、Heun の積分法を用いたメモリフリーの随伴法により、非常に深いネットワークを低メモリで安定して訓練可能である。

ABSTRACT

Neural Ordinary Differential Equations (Neural ODEs) are the continuous analog of Residual Neural Networks (ResNets). We investigate whether the discrete dynamics defined by a ResNet are close to the continuous one of a Neural ODE. We first quantify the distance between the ResNet's hidden state trajectory and the solution of its corresponding Neural ODE. Our bound is tight and, on the negative side, does not go to 0 with depth N if the residual functions are not smooth with depth. On the positive side, we show that this smoothness is preserved by gradient descent for a ResNet with linear residual functions and small enough initial loss. It ensures an implicit regularization towards a limit Neural ODE at rate 1 over N, uniformly with depth and optimization time. As a byproduct of our analysis, we consider the use of a memory-free discrete adjoint method to train a ResNet by recovering the activations on the fly through a backward pass of the network, and show that this method theoretically succeeds at large depth if the residual functions are Lipschitz with the input. We then show that Heun's method, a second order ODE integration scheme, allows for better gradient estimation with the adjoint method when the residual functions are smooth with depth. We experimentally validate that our adjoint method succeeds at large depth, and that Heun method needs fewer layers to succeed. We finally use the adjoint method successfully for fine-tuning very deep ResNets without memory consumption in the residual layers.

研究の動機と目的

• 深さが増加するにつれて、ResNet の離散的ダイナミクスが対応する Neural ODE の連続的解に収束するかどうかを特定すること。
• 重み初期化と学習ダイナミクスが、極限 Neural ODE に向けて implicit regularization を誘発する役割を果たす条件を調査すること。
• 逆伝播中に活性化を再構築することで、メモリフリーのバックプロパゲーションを実現する、深層 ResNets の訓練のための新しい随伴法を開発・分析すること。
• 残差関数の深さに伴う滑らかさが、随伴法における勾配近似の精度に与える影響を評価すること。
• 提案された随伴法が、残差層におけるメモリオーバーヘッドなしに、非常に深い ResNets の有効なファインチューニングを可能にするかを実験的に検証すること。

提案手法

• ResNet に対して、残差関数を $1/N$ でスケーリングすることで、対応する Neural ODE を定義するフレームワークを提案し、ResNet の更新式を ODE のオイラー離散化に変換する。
• ResNet の隠れ状態軌道と対応する Neural ODE の解との間の距離に理論的バウンディングを導出し、残差関数が深さに関して滑らかでない限り、誤差は消えないことを示す。
• 深層線形 ResNets における勾配降下法のダイナミクスを分析し、訓練済み重みが $1/N$ のレートでリプシッツ連続関数に一様収束することを証明し、極限 ODE に向けて implicit regularization が生じることを示す。
• 逆時系列のオイラー法を用いて、活性化をリアルタイムに再構築するメモリフリーな逆伝播を導入し、残差関数が有界かつリプシッツ連続でかつ $N$ に依存しない定数を持つ場合、勾配推定誤差が $O(1/N)$ で抑えられることを示す。
• 勾配近似を改善するために、ヘンの2次精度 ODE 積分スキームを用いた手法に拡張し、誤差が残差関数の深さに関する滑らかさに比例して $O(1/N)$ にスケーリングされることを示す。
• 事前学習済みの重みが束縛されたモデルから重みをアンタイングすることで、非常に深い ResNets のファインチューニングに随伴法を適用し、低メモリでの訓練と推論を実現する。

実験結果

リサーチクエスチョン

• RQ1 深さ $N \to \infty$ のとき、ResNet の離散的軌道は、その対応する Neural ODE の解に収束するか？
• RQ2 深層 ResNet における勾配降下法が、極限 Neural ODE に向けて implicit regularization を誘発する条件は何か？
• RQ3 メモリフリーの随伴法は、活性化を保存せずに、深層 ResNets における勾配を正確に再構築できるか？
• RQ4 残差関数の深さに伴う滑らかさが、随伴法における勾配推定の精度に与える影響は何か？
• RQ5 提案された随伴法は、残差層におけるメモリ消費なしに、非常に深い ResNets の成功したファインチューニングを可能にするか？

主な発見

• 残差関数が深さに関して滑らかでない限り、ResNet の軌道とその対応する Neural ODE の解との間の誤差は、深さ $N$ にかかわらず 0 に収束しない。
• 初期損失が小さい深層線形 ResNets において、勾配降下法により訓練済みパラメータが $1/N$ のレートでリプシッツ連続関数に一様収束することを示し、極限 Neural ODE に向けて implicit regularization が生じることを示唆する。
• 逆時系列オイラー法による再構築を用いたメモリフリーの随伴法は、残差関数が有界かつリプシッツ連続でかつ $N$ に依存しない定数を持つ場合、勾配推定誤差が $O(1/N)$ で抑えられることを示す。
• ヘンの方法をオイラー法に代えて使用することで、勾配近似が改善され、誤差が残差関数の深さに関する滑らかさに比例して $O(1/N)$ にスケーリングされ、より良い訓練安定性が得られる。
• 実験的結果から、随伴法が残差層にメモリオーバーヘッドなしに、CIFAR-10 や ImageNet における非常に深い ResNets（例：ResNet-101）の成功したファインチューニングを可能にすることが確認された。
• ヘンの方法はオイラー法に比べて収束に必要な層数が少なく、随伴フレームワークにおける高次積分の理論的利点を裏付ける。