[论文解读] Dissecting Neural ODEs

Stefano Massaroli, Michael Poli+3 more|arXiv (Cornell University)|Feb 19, 2020

Model Reduction and Neural Networks参考文献 48被引用 80

一句话总结

该论文给出对神经ODE的系统理论分析，提出无限维深度方差公式，以及 Galerkin 和堆叠离散化，并提出数据-控制和自适应深度范式，以提升超出增广的表达性和效率。

ABSTRACT

Continuous deep learning architectures have recently re-emerged as Neural Ordinary Differential Equations (Neural ODEs). This infinite-depth approach theoretically bridges the gap between deep learning and dynamical systems, offering a novel perspective. However, deciphering the inner working of these models is still an open challenge, as most applications apply them as generic black-box modules. In this work we "open the box", further developing the continuous-depth formulation with the aim of clarifying the influence of several design choices on the underlying dynamics.

研究动机与目标

• 阐明如何从系统角度分析和训练连续深度的神经ODE。
• 将增广推广到ANODEs之外，并引入数据控制和自适应深度，以在不使用过多参数的情况下学习复杂映射。
• 将无限维优化与实际的有限维近似（谱离散与深度离散）连接起来。
• 展示深度-可变和数据条件动态如何在学习反射和同心环等任务中影响表达能力和效率。

提出的方法

• 给出一个通用的神经ODE 形式，其中状态为 z、输入为 x、参数函数为 θ(s)。
• 推导连续深度下的广义伴随法以计算梯度，并给出相应的 dℓ/dθ(s) 表达式。
• 在 θ(s) ∈ L2(S → Rnθ) 的情形下发展无限维梯度，并在此设定下推导伴随法梯度。
• 引入 Galerkin 神经ODEs（谱离散）和 Stacked 神经ODEs（深度离散）作为有限维近似。
• 提出输入层增广和高阶增广以提高参数效率和性能。
• 通过在输入 x 上条件化向量场来定义数据受控的神经ODE，从而使向量场族得以学习。
• 通过超网络 gω(x) 来确定每个样本的积分深度，从而引入自适应深度神经ODE。

实验结果

研究问题

• RQ1 如何分析神经ODE以揭示深度可变参数和非增广策略的影响？
• RQ2 谱离散（Galerkin）和分段常数（堆叠）深度变异形式是否能够用更少的参数或函数评估实现准确解？
• RQ3 超越 ANODE 的增广策略（如输入层增广、高阶增广）是否提升图像分类任务的性能和效率？
• RQ4 数据控制和自适应深度范式在学习复杂映射而无需增广方面的优势与局限性有哪些？

主要发现

Variant	Dataset	Test Acc.	NFE	Param.[K]
NODE	MNIST	96.8	98	21.4
NODE	CIFAR	58.9	93	37.1
ANODE	MNIST	98.9	71	20.4
ANODE	CIFAR	70.8	169	35.0
IL-NODE	MNIST	99.1	44	20.7
IL-NODE	CIFAR	73.4	65	36.1
2nd-Ord.	MNIST	99.2	59	20.0
2nd-Ord.	CIFAR	72.8	43	34.6

• 深度变异 Neural ODE（Galerkin 与 Stacked 变体）能够在深度可变参数下进行学习，并为神经网络的真正深层极限提供路径。
• 增广变体，如输入层增广和高阶动力学，提升任务性能并在 MNIST 和 CIFAR 的比较中降低函数评估次数（NFE）。
• 数据受控的神经ODE 允许对输入数据条件化向量场，从而学习一族向量场和条件归一化流。
• 自适应深度神经ODE 使用超网络来分配样本特定的积分深度，从而在无需增广的情况下学习如反射之类的映射。
• 实验表明，IL-NODE 和二阶增广在 MNIST 和 CIFAR 数据集上通常在准确率与 NFE 之间取得有利权衡。