[論文レビュー] Dissecting Neural ODEs

Stefano Massaroli, Michael Poli+3 more|arXiv (Cornell University)|Feb 19, 2020

Model Reduction and Neural Networks参考文献 48被引用数 80

ひとこと要約

本論文は Neural ODE のシステム理論的分析を行い、無限次元の深さ分散定式を導入し、Galerkin および積層離散化を提案し、データ制御と適応深度のパラダイムを提案して、拡張を超えた表現力と効率を実現する。

ABSTRACT

Continuous deep learning architectures have recently re-emerged as Neural Ordinary Differential Equations (Neural ODEs). This infinite-depth approach theoretically bridges the gap between deep learning and dynamical systems, offering a novel perspective. However, deciphering the inner working of these models is still an open challenge, as most applications apply them as generic black-box modules. In this work we "open the box", further developing the continuous-depth formulation with the aim of clarifying the influence of several design choices on the underlying dynamics.

研究の動機と目的

• 連続深度 Neural ODE を系として分析・訓練する方法を明らかにする。
• ANODE を超える拡張を一般化し、データ制御と適応深度を導入して過度なパラメータを使わずに複雑な写像を学習する。
• 無限次元最適化と実用的な有限次元近似（スペクトルおよび深さ離散化）を結びつける。
• 深さ変動とデータ条件付きダイナミクスが、反射や同心環状層の学習といったタスクで表現力と効率に与える影響を示す。

提案手法

• 状態 z、入力 x、およびパラメータ関数 θ(s) を用いる一般的な Neural ODE 形式を提示する。
• 連続深度における勾配計算の一般化 adjoint 法を導出し、対応する dℓ/dθ(s) 式を提供する。
• θ(s) ∈ L2(S → Rnθ) のときの無限次元勾配を展開し、この設定での adjoint ベースの勾配を導出する。
• 有限次元近似としての Galerkin Neural ODEs（スペクトル離散化）と Stacked Neural ODEs（深さ離散化）を導入する。
• パラメータ効率と性能を向上させるために入力層の拡張と高次動力学拡張を提案する。
• データ制御 Neural ODEs を定義し、ベクトル場を入力 x で条件付けしてベクトル場のファミリーを学習可能とする。
• サンプルごとの積分深度を決定するハイパーネットワーク gω(x) による適応深度 Neural ODEs を導入する。

実験結果

リサーチクエスチョン

• RQ1 深さ変動パラメータと非拡張戦略の影響を明らかにするために Neural ODEs をどのように分析できるか。
• RQ2 スペクトル（Galerkin）および区分区間的（積層）深さ変動定式化は、より少ないパラメータや関数評価で正確な解を達成できるか。
• RQ3 入力層拡張など ANODE を超える拡張が、画像分類タスクの性能と効率を向上させるか。
• RQ4 データ制御と適応深度のパラダイムが、拡張なしに複雑な写像を学習する際の利点と限界は何か。

主な発見

Variant	Dataset	Test Acc.	NFE	Param.[K]
NODE	MNIST	96.8	98	21.4
NODE	CIFAR	58.9	93	37.1
ANODE	MNIST	98.9	71	20.4
ANODE	CIFAR	70.8	169	35.0
IL-NODE	MNIST	99.1	44	20.7
IL-NODE	CIFAR	73.4	65	36.1
2nd-Ord.	MNIST	99.2	59	20.0
2nd-Ord.	CIFAR	72.8	43	34.6

• 深さ変動 Neural ODE（Galerkin および Stacked 変種）は、深さ変動パラメータでの学習を可能にし、ニューラルネットの真の深層限界への道を提供する。
• 入力層拡張や高次動力学といった拡張変体は、MNIST および CIFAR の比較においてタスク性能を改善し、関数評価回数 (NFEs) を削減する。
• データ制御 Neural ODEs はベクトル場を入力データで条件付け可能とし、ベクトル場のファミリーと条件付き正規化フローの学習を可能にする。
• 適応深度 Neural ODEs はハイパーネットワークを用いてサンプルごとの積分深度を割り当て、拡張なしで反射のような写像の学習を可能にする。
• 実験では IL-NODE および 2nd-order 拡張が、MNIST および CIFAR データセット全般で精度と NFEs の間の有利なトレードオフをもたらすことを示す。