[論文レビュー] When are Neural ODE Solutions Proper ODEs

Katharina Ott, Prateek Katiyar+2 more|arXiv (Cornell University)|Jul 30, 2020

Model Reduction and Neural Networks参考文献 41被引用数 6

ひとこと要約

この論文は、訓練中の粗い数値積分法に依存するため、訓練済みのニューラルODEは真のODEフローを表現できないことが多く、テスト時に異なるソルバーを使用すると性能が低下することを特定した。本稿では、計算コストを過度に増加させることなく有効なODE解を保証する訓練時の段階的ステップサイズ手法を提案し、ベンチマークおよび合成データセット（新規に開発されたODE生成分類データセットを含む）で検証した。

ABSTRACT

A key appeal of the recently proposed Neural Ordinary Differential Equation(ODE) framework is that it seems to provide a continuous-time extension of discrete residual neural networks. As we show herein, though, trained Neural ODE models actually depend on the specific numerical method used during training. If the trained model is supposed to be a flow generated from an ODE, it should be possible to choose another numerical solver with equal or smaller numerical error without loss of performance. We observe that if training relies on a solver with overly coarse discretization, then testing with another solver of equal or smaller numerical error results in a sharp drop in accuracy. In such cases, the combination of vector field and numerical method cannot be interpreted as a flow generated from an ODE, which arguably poses a fatal breakdown of the Neural ODE concept. We observe, however, that there exists a critical step size beyond which the training yields a valid ODE vector field. We propose a method that monitors the behavior of the ODE solver during training to adapt its step size, aiming to ensure a valid ODE without unnecessarily increasing computational cost. We verify this adaption algorithm on two common bench mark datasets as well as a synthetic dataset. Furthermore, we introduce a novel synthetic dataset in which the underlying ODE directly generates a classification task.

研究の動機と目的

• 訓練済みのニューラルODEモデルが真のODEフローを真正に表現しているのか、それとも特定の数値的ソルバーに依存した結果に過ぎないのかを調査すること。
• ニューラルODEが有効なODE解として解釈できるようになる臨界的なステップサイズを同定すること。
• 訓練中にソルバーのステップサイズを適応的に調整する手法を開発し、不必要な計算負荷を伴わず、真のODEに対応するモデルを保証すること。
• 標準ベンチマークデータセットおよび、ODEに基づく分類タスクを直接生成する新しい合成データセット上で、提案手法を検証すること。

提案手法

• 訓練中にODEソルバーの挙動を監視し、動的にステップサイズを調整する手法を採用する。
• モデルが真のODEフローとして解釈できるよう、ステップサイズが臨界閾値以下に保たれるようにする。
• ソルバー依存の性能低下を引き起こす過度に粗い離散化を回避する。
• 不必要に小さなステップサイズを使用しないことで、計算効率を維持する。
• 2つのベンチマークデータセットおよび、ODEベース分類をテストする目的で設計された合成データセットで手法を評価する。
• 本稿では、ODEのベクトル場が直接分類タスクをエンコードする新しい合成データセットを導入する。

実験結果

リサーチクエスチョン

• RQ1 訓練済みのニューラルODEは、真のODEによって生成されたフローとして解釈できるのか、それとも訓練時に使用された特定の数値的ソルバーに依存しているのか？
• RQ2 ニューラルODEが有効なODE解を生成するようになる臨界的なステップサイズは何か？
• RQ3 訓練時にステップサイズを適応的に調整することで、性能の低下を伴わず異なるソルバー間で一般化するモデルが得られるか？
• RQ4 ODEのベクトル場が直接分類タスクを生成するような合成データセットを構築できるか？

主な発見

• 過度に粗いステップサイズで訓練すると、異なるソルバーでテストした際に性能が低下し、モデルが真のODEフローでないことが示された。
• モデルが有効なODE解として解釈できるようになる臨界的なステップサイズが存在する。
• 提案された段階的ステップサイズ手法は、計算コストを増加させることなく、有効なODE挙動を保証した。
• テスト時に異なるソルバーを用いても一貫した性能を維持したため、モデルが真のODEフローとして正しく動作することが確認された。
• 新規に開発された合成データセットは、ODEのベクトル場が直接分類タスクを生成できることを効果的に示した。