[论文解读] Interpolation Technique to Speed Up Gradients Propagation in Neural ODEs

Talgat Daulbaev, Alexandr Katrutsa+4 more|arXiv (Cornell University)|Mar 11, 2020

Model Reduction and Neural Networks参考文献 30被引用 9

一句话总结

本文提出插值反向动力学方法（IRDM），一种内存高效的训练神经ODE技术，通过在切比雪夫网格上使用重心拉格朗日插值近似隐藏状态，减少反向传播中的ODE求解次数。IRDM在图像分类、密度估计和变分推断任务中均实现比标准反向动力学方法（RDM）更快的收敛速度和更低的训练时间，且具备理论误差界与在CIFAR10、Caltech和FreyFaces数据集上的实证验证。

ABSTRACT

We propose a simple interpolation-based method for the efficient approximation of gradients in neural ODE models. We compare it with the reverse dynamic method (known in the literature as "adjoint method") to train neural ODEs on classification, density estimation, and inference approximation tasks. We also propose a theoretical justification of our approach using logarithmic norm formalism. As a result, our method allows faster model training than the reverse dynamic method that was confirmed and validated by extensive numerical experiments for several standard benchmarks.

研究动机与目标

• 解决神经ODE训练中反向动力学方法（RDM）存在的数值不稳定性和高计算成本问题。
• 减少反向传播中ODE求解器的步数，以加速训练，同时不损失梯度精度。
• 提出一种稳定且内存高效的RDM与ANODE替代方案，通过用插值状态近似替代直接的反向积分。
• 利用对数范数形式化方法，对插值扰动引起的梯度误差提供理论依据。
• 在多样化基准上验证该方法：图像分类（CIFAR10）、密度估计和变分自编码器（Caltech、FreyFaces）。

提出的方法

• 在前向传播中，使用切比雪夫网格上的重心拉格朗日插值（BLI）来近似隐藏状态轨迹 $\mathbf{z}(t)$。
• 前向传播中仅存储使用DOPRI5自适应ODE求解器计算出的切比雪夫节点处的 $\mathbf{z}(t)$ 值，避免存储完整轨迹。
• 在反向传播中，通过插值重建 $\mathbf{z}(t)$ 以计算梯度，而无需反向求解原始初值问题。
• 将包含 $\mathbf{z}(t)$ 的标准伴随初值问题替换为低维系统，从而消除对原始ODE反向积分的需求。
• 利用 $\mathbf{z}(t) \in C^1$ 的性质，在ODE向量场满足弱光滑性条件下确保插值精度。
• 基于对数范数形式化推导出由插值引起的梯度误差的理论上限，确保方法稳定性。

实验结果

研究问题

• RQ1 在前向传播中对隐藏状态轨迹 $\mathbf{z}(t)$ 进行插值，是否能减少反向传播中的ODE求解次数，同时保持梯度精度？
• RQ2 与RDM和ANODE相比，该基于插值的方法在训练速度、内存使用和最终模型性能方面表现如何？
• RQ3 插值引起的梯度误差的理论边界是什么？其与切比雪夫节点数量和ODE求解器容差的关系如何？
• RQ4 插值方法的选择（如BLI与分段线性插值）是否显著影响训练稳定性和收敛性？
• RQ5 所提方法是否能在CIFAR10、Caltech和FreyFaces等标准基准上实现更快收敛和更低计算成本？

主要发现

• 在CIFAR10分类任务中，IRDM相比RDM将训练时间减少高达30%，使用16个切比雪夫节点时达到0.867的测试准确率。
• 在MNIST分类任务中，基于BLI的插值优于分段线性插值，在40个训练周期后表现出更稳定的测试准确率。
• 在变分自编码器任务中，IRDM达到与RDM相同的最终测试损失，但在Caltech和FreyFaces数据集上收敛速度略快。
• 理论分析表明，由插值引起的梯度误差是被控制的，其大小取决于ODE系统的对数范数和插值误差。
• 使用8个切比雪夫节点的IRDM在CIFAR10上训练速度超过RDM，表明即使少量插值点也能带来显著加速。
• 该方法保持了稳定性，未出现原始RDM在刚性ODE场景下观察到的数值不稳定性。