[论文解读] Augmented Neural ODEs

Emilien Dupont, Randal Douc+1 more|arXiv (Cornell University)|Apr 2, 2019

Model Reduction and Neural Networks参考文献 18被引用 57

一句话总结

该论文识别了 Neural ODEs 在拓扑保持方面的局限性，并引入 Augmented Neural ODEs (ANODEs)，它们将数据提升到更高维度以学习更简单、表达力更强的流，同时降低计算成本、改善泛化和稳定性。

ABSTRACT

We show that Neural Ordinary Differential Equations (ODEs) learn representations that preserve the topology of the input space and prove that this implies the existence of functions Neural ODEs cannot represent. To address these limitations, we introduce Augmented Neural ODEs which, in addition to being more expressive models, are empirically more stable, generalize better and have a lower computational cost than Neural ODEs.

研究动机与目标

• 证明 Neural ODEs 能保持输入空间拓扑结构，且无法表示某些函数。
• 提出 Augmented Neural ODEs 以克服表示能力的极限并提升训练稳定性与效率。
• 在玩具任务和图像数据集上对 NODEs 与 ANODEs 进行实证比较，以评估表达能力、NFEs、泛化和可扩展性。

提出的方法

• 将 Neural ODEs 定义为 ResNets 的连续时间极限，并将 NODE 流形式化为通过初值问题 h(0)=x 将输入映射到 φ_t 的过程。
• 证明由于拓扑保持性质，NODEs 不能表示某些简单函数和高维函数（流是同胚映射）。
• 通过将状态从 R^d 增强到 R^{d+p} 并在扩展空间上求解常微分方程，初始条件为 [x; 0]，引入 Augmented Neural ODEs。
• 假设增广能够产生更平滑、简单的流，所需的函数评估更少，并能够表示此前无法表达的函数。
• 在玩具函数和图像数据集上对 NODEs 与 ANODEs 进行实证比较，考察训练损失、NFEs、准确率、稳定性和泛化能力。

实验结果

研究问题

• RQ1 由于拓扑保持性，Neural ODEs 不能表示哪些类别的函数？
• RQ2 增加潜在空间是否能使 NODEs 表示更复杂的函数并使用更简单的流？
• RQ3 相较于 NODEs，ANODEs 在图像数据上是否提供更低的计算成本、更好的泛化和更高的稳定性？

主要发现

• 由于流是同胚映射，NODEs 无法表示需要穿越轨迹的某些一维及更高维度的函数。
• ANODEs 在扩展空间中学习更简单、更平滑的流，并在类似任务中显著需要更少的 NFEs。
• 在 MNIST、CIFAR-10、SVHN 和 64×64 ImageNet 上，ANODEs 在参数量相近的情况下实现更低的训练损失和更好的泛化。
• 增广提高了训练稳定性，减少了 NFEs，并在图像数据集上获得更高的准确率。
• NODEs 在拟合某些函数时表现出不稳定性和高 NFEs，而 ANODEs 仍然稳定且高效。