[論文レビュー] Augmented Neural ODEs

Emilien Dupont, Randal Douc+1 more|arXiv (Cornell University)|Apr 2, 2019

Model Reduction and Neural Networks参考文献 18被引用数 57

ひとこと要約

この論文は Neural ODEs の topology-preserving 制約を特定し、Augmented Neural ODEs (ANODEs) を導入する。ANODEs はデータを高次元へリフトして、より単純で表現力のあるフローを学習し、計算コストを低減し、一般化を向上させ、安定性を改善する。

ABSTRACT

We show that Neural Ordinary Differential Equations (ODEs) learn representations that preserve the topology of the input space and prove that this implies the existence of functions Neural ODEs cannot represent. To address these limitations, we introduce Augmented Neural ODEs which, in addition to being more expressive models, are empirically more stable, generalize better and have a lower computational cost than Neural ODEs.

研究の動機と目的

• Neural ODEs が入力空間のトポロジーを保存することを示し、特定の関数を表現できないことを示す。
• 表現力の限界を克服し、訓練の安定性と効率を改善するための Augmented Neural ODEs の提案。
• おもちゃタスクと画像データセット上で NODEs と ANODEs を経験的に比較し、表現力、NFEs、一般化、スケーラビリティを評価する。

提案手法

• Neural ODEs を ResNet の連続時間極限として定義し、NODEフローを h(0)=x を満たす IVP によって入力を φ_t に写像する形式として定式化する。
• トポロジー保存性のため、NODE が特定の単純な関数や高次元関数を表現できないことを証明する（フローは同相写像である）。
• 状態を R^d から R^{d+p} に拡張して拡張空間上で ODE を解き、初期条件を [x; 0] とすることで Augmented Neural ODEs を導入する。
• 拡張がより滑らかで単純なフローを生み出し、より少ない関数評価を要求し、以前は表現不能だった関数の表現を可能にするという仮説を立てる。
• toy 関数と画像データセット上で NODEs と ANODEsを経験的に比較し、訓練損失、NFEs、精度、安定性、一般化を評価する。

実験結果

リサーチクエスチョン

• RQ1 トポロジー保存性のために Neural ODEs が表現できない関数のクラスは何か。
• RQ2 潜在空間を増やすことで NODEs がより単純なフローでより複雑な関数を表現できるか。
• RQ3 画像データに対して NODEs と比較して ANODEs は計算コストの低減、より良い一般化、より高い安定性を提供するか？

主な発見

• NODEs はフローが同相写像であるため、軌道が交差を要する特定の1次元および高次元の関数を表現できない。
• ANODEs は拡張空間でより単純で滑らかなフローを学習し、類似タスクに対してNODEs よりはるかに少ない NFEs を必要とする。
• ANODEs は MNIST、CIFAR-10、SVHN、64×64 ImageNet において、パラメータ数が同程度でもより低い訓練損失とより良い一般化を達成する。
• 拡張は訓練の安定性を向上させ、NFEs を削減し、画像データセットでより高い精度をもたらす。
• NODEs は特定の関数に適合させる際に不安定と高い NFEs を示す一方、ANODEs は安定で効率的であり続ける。