[論文レビュー] ResNet After All? Neural ODEs and Their Numerical Solution

Katharina Ott, Prateek Katiyar+2 more|arXiv (Cornell University)|Jul 30, 2020

Model Reduction and Neural Networks参考文献 37被引用数 6

ひとこと要約

この論文は、粗い数値積分法で訓練されたニューラルODEは真のODEフローを表現できないことを示しており、異なる積分法でテストした際に性能が急激に低下することがある。有効なODE解釈を保証するため、著者らは訓練中にソルバーの挙動を監視し、計算コストを過度に増さずに数値的一致性を維持するための適応的ステップサイズアルゴリズムを提案する。この手法は、合成データおよびCIFAR-10データセットで検証された。

ABSTRACT

A key appeal of the recently proposed Neural Ordinary Differential Equation (ODE) framework is that it seems to provide a continuous-time extension of discrete residual neural networks. As we show herein, though, trained Neural ODE models actually depend on the specific numerical method used during training. If the trained model is supposed to be a flow generated from an ODE, it should be possible to choose another numerical solver with equal or smaller numerical error without loss of performance. We observe that if training relies on a solver with overly coarse discretization, then testing with another solver of equal or smaller numerical error results in a sharp drop in accuracy. In such cases, the combination of vector field and numerical method cannot be interpreted as a flow generated from an ODE, which arguably poses a fatal breakdown of the Neural ODE concept. We observe, however, that there exists a critical step size beyond which the training yields a valid ODE vector field. We propose a method that monitors the behavior of the ODE solver during training to adapt its step size, aiming to ensure a valid ODE without unnecessarily increasing computational cost. We verify this adaptation algorithm on a common bench mark dataset as well as a synthetic dataset.

研究の動機と目的

• 訓練済みのニューラルODEモデルが真の連続的ODEフローを真正に表現しているのか、それとも特定の数値的ソルバーに依存しているのかを調査すること。
• 数値離散化誤差によってニューラルODEがODE的性質を維持できなくなる条件を同定すること。
• 推論時に使用するソルバーの種別にかかわらず、モデルが有効なODEフローのまま保たれるようにする手法を開発すること。
• 最適なステップサイズを探索するための高コストなグリッドサーチの必要性をなくし、訓練中に動的にソルバーのパラメータを適応的に変更すること。
• 固定ステップサイズおよび適応的ステップサイズのソルバーを用いて、合成データおよび実世界のデータセット（CIFAR-10）でこの手法の有効性を検証すること。

提案手法

• 訓練中にODEソルバーの数値誤差挙動を監視し、ソルバーが粗すぎる状態を検出できるステップサイズ適応アルゴリズムを提案する。
• 理論的根拠としてピカード＝リニデューフの定理を用いる：位相空間内で軌道が交差する場合、解は真のODEフローではあり得ない。
• モデルがODEの一貫性を保つための臨界的ステップサイズを定義し、それを超えるようにステップサイズを動的に調整する。
• 訓練中に適応アルゴリズムを適用することで、特定のソルバー設定に依存しないようにし、数値的安定性と一貫性を確保する。
• 固定ステップサイズおよび適応的ステップサイズのソルバー（例：ドーマン＝プリンス法）を用い、さまざまな数値積分スキームで手法を検証する。
• 訓練中にグローバル数値誤差を監視し、精度と計算コストのバランスを保てるようにステップサイズを調整する。

実験結果

リサーチクエスチョン

• RQ1 推論時に使用する特定の数値的ソルバーに依存して、訓練済みのニューラルODEの性能が変化するか？
• RQ2 どのような条件下で、数値的離散化誤差によってニューラルODEが真のODEフローを表現できなくなるか？
• RQ3 訓練中に適応的ステップサイズ戦略を採用することで、推論時のソルバー選択に関係なくモデルが有効なODEフローのまま保たれるか？
• RQ4 数値的グローバル誤差に偏り（バイアス）が生じると、モデルの一般化性能およびロバストネスにどのような影響を与えるか？
• RQ5 提案された適応アルゴリズムは、最適なステップサイズを探索する高コストなグリッドサーチに代わることができ、性能を維持または向上させられるか？

主な発見

• 大きなステップサイズで訓練されたニューラルODEは、位相空間内で軌道が交差する。これはピカード＝リニデューフの定理が保証する一意性に反するため、真のODEフローを表現できていないことを示している。
• 訓練時に粗いソルバーを使用した場合、同等またはより小さい数値誤差を持つ別のソルバーでテストすると、精度が急激に低下する。これはソルバー依存性を確認するものである。
• モデルがODEの一貫性を保つための臨界的ステップサイズが存在する。この閾値を下回ると、モデルは訓練時に使用した特定のソルバーに依存するようになる。
• 提案されたステップサイズ適応アルゴリズムは、2D同心球体データセットで100.5 NFE（NFE: 積分ステップ数）で98.9% ± 0.6%の精度を達成し、グリッドサーチ（65–129 NFEで98.7% ± 1.0%）を上回る性能を示した。
• CIFAR-10では、21.9 NFEで55.0% ± 0.8%の精度を達成し、グリッドサーチベースライン（17–33 NFEで54.7% ± 0.3%）をわずかに上回った。
• 適応アルゴリズムにより、ソルバーを切り替えた際に観察される性能低下を効果的に回避した。これは、異なる数値積分スキームでもモデルが有効なODEフローのまま保たれていることを確認するものである。