[论文解读] Discretize-Optimize vs. Optimize-Discretize for Time-Series Regression and Continuous Normalizing Flows

Derek Onken, Lars Ruthotto|arXiv (Cornell University)|May 27, 2020

Time Series Analysis and Forecasting参考文献 38被引用 27

一句话总结

本文比较了在时间序列回归和连续归一化流（CNFs）中训练神经ODE时的离散化-优化（Disc-Opt）与优化-离散化（Opt-Disc）方法。结果表明，Disc-Opt在保持与Opt-Disc相当的推理性能的同时，将训练时间减少了39%至97%，在某一案例中甚至将训练时间从九天缩短至不到一天，其原因在于梯度精度与ODE求解器精度无关。

ABSTRACT

We compare the discretize-optimize (Disc-Opt) and optimize-discretize (Opt-Disc) approaches for time-series regression and continuous normalizing flows (CNFs) using neural ODEs. Neural ODEs are ordinary differential equations (ODEs) with neural network components. Training a neural ODE is an optimal control problem where the weights are the controls and the hidden features are the states. Every training iteration involves solving an ODE forward and another backward in time, which can require large amounts of computation, time, and memory. Comparing the Opt-Disc and Disc-Opt approaches in image classification tasks, Gholami et al. (2019) suggest that Disc-Opt is preferable due to the guaranteed accuracy of gradients. In this paper, we extend the comparison to neural ODEs for time-series regression and CNFs. Unlike in classification, meaningful models in these tasks must also satisfy additional requirements beyond accurate final-time output, e.g., the invertibility of the CNF. Through our numerical experiments, we demonstrate that with careful numerical treatment, Disc-Opt methods can achieve similar performance as Opt-Disc at inference with drastically reduced training costs. Disc-Opt reduced costs in six out of seven separate problems with training time reduction ranging from 39% to 97%, and in one case, Disc-Opt reduced training from nine days to less than one day.

研究动机与目标

• 评估在时间序列回归和连续归一化流（CNFs）中训练神经ODE时，Disc-Opt与Opt-Disc之间的权衡。
• 评估尽管计算成本降低，Disc-Opt是否仍能保持模型质量，特别是CNFs中的可逆性。
• 量化在实际科学机器学习任务中训练时间的减少与性能权衡。
• 验证Disc-Opt的梯度即使在使用低精度ODE求解器时仍保持准确，而Opt-Disc则不然。
• 在图像分类之外的实际问题中展示Disc-Opt在真实世界任务中的实际效率提升，此前该方法仅在图像分类中被研究过。

提出的方法

• 将神经ODE训练建模为带有ODE约束和正则化损失最小化的最优控制问题。
• 利用庞特里亚金最大值原理推导连续最优性系统，从而得到用于梯度计算的伴随ODE。
• 采用Disc-Opt方法，先对ODE进行离散化（使用前向欧拉法），然后通过自动微分求解有限维优化问题。
• 在Opt-Disc中使用离散伴随反向传播与后向欧拉法，于前向步骤之后的时间点计算梯度。
• 采用前向-后向稳定的网络和伴随求解器，以缓解后向ODE积分中的数值不稳定性。
• 通过调整ODE求解器的容差，实现两种方法的比较，以评估梯度精度与训练成本之间的权衡。

实验结果

研究问题

• RQ1 Disc-Opt是否能在时间序列回归和CNFs中实现与Opt-Disc相当的推理性能，同时降低训练成本？
• RQ2 当使用低精度ODE求解器时，Disc-Opt中的梯度精度与Opt-Disc相比如何？
• RQ3 Disc-Opt在多种时间序列和CNF任务中可实现的训练时间减少幅度有多大？
• RQ4 Disc-Opt是否能保持连续归一化流中的关键模型特性，如可逆性？
• RQ5 在哪些场景下，Disc-Opt在计算效率和收敛稳定性方面优于Opt-Disc？

主要发现

• 在一项时间序列回归问题中，Disc-Opt将训练时间减少了97%，从九天缩短至不到一天。
• 在七个测试问题中的六个里，Disc-Opt实现了39%至97%的显著训练时间减少。
• 尽管使用了精度较低的ODE求解器，Disc-Opt仍保持了与Opt-Disc相当的推理性能。
• Disc-Opt的梯度精度与ODE求解器精度无关，而Opt-Disc在求解器精度较低时梯度质量会下降。
• 该方法保持了连续归一化流中的可逆性，这是基于CNF的生成建模的关键要求。
• Disc-Opt更易于通过自动微分实现，且避免了Opt-Disc中时间反向ODE求解带来的数值不稳定性。