[论文解读] When are Neural ODE Solutions Proper ODEs

Katharina Ott, Prateek Katiyar+2 more|arXiv (Cornell University)|Jul 30, 2020

Model Reduction and Neural Networks参考文献 41被引用 6

一句话总结

本文指出，训练后的神经ODE通常因训练期间依赖粗粒度数值求解器而无法真实表示ODE流，导致在使用不同求解器测试时性能下降。本文提出一种训练期间自适应调整步长的方法，确保获得有效ODE解的同时计算成本不增加，该方法在基准数据集和合成数据集（包括一个新型由ODE生成的分类数据集）上得到验证。

ABSTRACT

A key appeal of the recently proposed Neural Ordinary Differential Equation(ODE) framework is that it seems to provide a continuous-time extension of discrete residual neural networks. As we show herein, though, trained Neural ODE models actually depend on the specific numerical method used during training. If the trained model is supposed to be a flow generated from an ODE, it should be possible to choose another numerical solver with equal or smaller numerical error without loss of performance. We observe that if training relies on a solver with overly coarse discretization, then testing with another solver of equal or smaller numerical error results in a sharp drop in accuracy. In such cases, the combination of vector field and numerical method cannot be interpreted as a flow generated from an ODE, which arguably poses a fatal breakdown of the Neural ODE concept. We observe, however, that there exists a critical step size beyond which the training yields a valid ODE vector field. We propose a method that monitors the behavior of the ODE solver during training to adapt its step size, aiming to ensure a valid ODE without unnecessarily increasing computational cost. We verify this adaption algorithm on two common bench mark datasets as well as a synthetic dataset. Furthermore, we introduce a novel synthetic dataset in which the underlying ODE directly generates a classification task.

研究动机与目标

• 探究训练后的神经ODE模型是否真正代表由ODE生成的流，还是特定数值求解器的产物。
• 识别出神经ODE可被解释为有效ODE解的临界步长。
• 开发一种在训练期间自适应调整求解器步长的方法，确保模型对应于真正的ODE，同时避免不必要的计算开销。
• 在标准基准数据集和一个新型合成数据集上验证所提方法，其中ODE直接生成分类任务。

提出的方法

• 该方法在训练过程中监控ODE求解器的行为，以动态调整步长。
• 确保步长保持在低于临界阈值，使模型可被解释为真正的ODE流。
• 该算法避免了导致求解器依赖性能的过度粗略离散化。
• 通过避免使用不必要的小步长，保持计算效率。
• 该方法在两个基准数据集和一个用于测试基于ODE分类的合成数据集上进行了评估。
• 引入了一种新型合成数据集，其中ODE向量场直接编码了分类任务。

实验结果

研究问题

• RQ1 训练后的神经ODE是否可被解释为由真正ODE生成的流，还是依赖于训练期间使用的特定数值求解器？
• RQ2 在何种临界步长以上，神经ODE可产生有效的ODE解？
• RQ3 在训练期间自适应调整步长是否能生成在不同求解器上均表现一致且无性能下降的模型？
• RQ4 能否构建一种合成数据集，使得ODE向量场可直接生成分类任务？

主要发现

• 使用过于粗略的步长进行训练，会导致在不同求解器上测试时性能下降，表明模型并非真正的ODE流。
• 存在一个临界步长，超过该值后模型可被解释为有效的ODE解。
• 所提出的自适应步长方法成功确保了有效的ODE行为，且未增加计算成本。
• 在不同求解器上测试时，该方法保持了性能的一致性，证实模型表现如真正的ODE流。
• 新型合成数据集成功证明了ODE可通过其向量场直接生成分类任务。