[论文解读] Interpolated Adjoint Method for Neural ODEs.

Talgat Daulbaev, Alexandr Katrutsa+4 more|arXiv (Cornell University)|Mar 11, 2020

Model Reduction and Neural Networks参考文献 29被引用 7

一句话总结

本文提出了一种名为插值伴随方法（Interpolated Adjoint Method）的新方法，通过在反向传播过程中使用平滑函数插值重建前向轨迹，从而稳定神经ODE的训练。该方法避免了直接伴随积分，减轻了刚性问题与数值不稳定性，显著提升了实际训练中的稳定性和收敛性。

ABSTRACT

In this paper, we propose a method, which allows us to alleviate or completely avoid the notorious problem of numerical instability and stiffness of the adjoint method for training neural ODE. On the backward pass, we propose to use the machinery of smooth function interpolation to restore the trajectory obtained during the forward integration. We show the viability of our approach, both in theory and practice.

研究动机与目标

• 解决标准伴随方法在训练神经ODE时固有的数值不稳定性与刚性问题。
• 开发一种避免直接积分伴随系统的反向传播机制，该机制易受不稳定性影响。
• 通过插值重建前向轨迹，实现神经ODE中稳定且精确的反向传播。
• 为神经ODE中的传统伴随计算提供理论严谨且实际有效的替代方案。

提出的方法

• 在反向传播过程中，利用前向积分期间记录的中间状态进行平滑函数插值，重建前向轨迹。
• 不求解伴随ODE，而是从保存的中间状态插值出解路径，减少对数值敏感的伴随积分的依赖。
• 采用高阶插值方案，确保状态轨迹的平滑与精确重建。
• 然后利用插值后的轨迹通过链式法则计算梯度，避免向前积分伴随系统的需求。
• 该方法设计为与标准ODE求解器兼容，可仅通过少量修改集成到现有神经ODE框架中。
• 理论分析表明，在适当的插值条件下，该方法能保持一致性和收敛性。

实验结果

研究问题

• RQ1 通过插值实现的轨迹重建是否能有效替代神经ODE中的伴随ODE积分，同时不损失梯度精度？
• RQ2 与标准伴随方法相比，该插值方法是否能降低数值刚性并提升训练稳定性？
• RQ3 为保持神经ODE训练中的收敛性与泛化能力，插值精度需达到何种水平？
• RQ4 该方法在不同ODE求解器与神经网络架构下的表现如何？
• RQ5 该方法能否在不引入显著计算开销的前提下高效实现？

主要发现

• 插值伴随方法通过避免直接伴随积分，成功缓解了神经ODE训练中的数值不稳定性与刚性问题。
• 该方法在标准伴随方法失效或发散的刚性ODE问题上实现了稳定训练。
• 插值方式计算的梯度在经验评估中表现出足够的精度，可有效支持模型优化。
• 该方法使高阶ODE求解器在通常因标准伴随反向传播而不稳定的情况下也能实现可靠训练。
• 该方法为标准伴随方法提供了一种实用且稳健的替代方案，尤其适用于具有刚性动力学的场景。