[论文解读] Hypersolvers: Toward Fast Continuous-Depth Models

Michael Poli, Stefano Massaroli+3 more|arXiv (Cornell University)|Jul 19, 2020

Model Reduction and Neural Networks参考文献 68被引用 18

一句话总结

本文提出超求解器（hypersolvers）——一种经过训练的神经网络，可低开销、有理论精度保证地求解常微分方程（ODE），从而在连续深度模型（如神经ODE）中实现快速、可扩展的推理。通过用可学习的、高效的超求解器替代传统数值求解器，该方法在仅损失极少精度的情况下，将推理速度提升高达100倍，使连续归一化流等任务得以实际部署。

ABSTRACT

The infinite-depth paradigm pioneered by Neural ODEs has launched a renaissance in the search for novel dynamical system-inspired deep learning primitives; however, their utilization in problems of non-trivial size has often proved impossible due to poor computational scalability. This work paves the way for scalable Neural ODEs with time-to-prediction comparable to traditional discrete networks. We introduce hypersolvers, neural networks designed to solve ODEs with low overhead and theoretical guarantees on accuracy. The synergistic combination of hypersolvers and Neural ODEs allows for cheap inference and unlocks a new frontier for practical application of continuous-depth models. Experimental evaluations on standard benchmarks, such as sampling for continuous normalizing flows, reveal consistent pareto efficiency over classical numerical methods.

研究动机与目标

• 为解决神经ODE计算可扩展性差的问题，该问题限制了其在实时或大规模应用中的使用。
• 克服传统数值求解器带来的高计算开销，该开销阻碍了连续深度模型中高效推理与训练。
• 开发一种协同的模型-求解器框架，以提升精度-计算权衡中的帕累托效率。
• 实现在连续归一化流及其他连续深度任务中的快速、高精度推理。
• 探索超求解器的预训练与联合优化策略，以提升其可重用性与训练效率。

提出的方法

• 超求解器作为神经网络进行训练，以近似标准数值求解器的残差，从而实现快速ODE解的预测。
• 该方法用一个可学习的代理替代传统ODE求解器，通过少量函数评估预测解轨迹的下一步。
• 超求解器使用损失函数进行训练，以最小化其预测解与自适应求解器（如dopri5）得到的真实解之间的差异。
• 该框架支持在多样化动力学上进行预训练，并与主神经ODE模型进行联合优化，以提升泛化能力与求解器鲁棒性。
• 理论分析表明，超求解器是残差的$\mathcal{O}(\delta)$近似器，在向量场满足利普希茨连续性时具有收敛保证。
• 采用对抗训练以提升超求解器对刚性或复杂ODE动力学的鲁棒性，通过暴露于最坏情况场景实现。

实验结果

研究问题

• RQ1 可学习的求解器（超求解器）是否能在显著减少函数评估次数的情况下，实现与传统数值求解器相当或更优的精度？
• RQ2 超求解器在多大程度上能改善连续深度模型中精度-计算权衡的帕累托效率？
• RQ3 如何在训练迭代中有效训练和重用超求解器，以降低神经ODE中的计算成本？
• RQ4 主模型与超求解器的联合优化是否能提升整体训练效率与解的精度？
• RQ5 超求解器在多样化ODE动力学上的泛化能力，其理论与经验极限是什么？

主要发现

• 超求解器在推理速度上相比dopri5等标准求解器最高可实现100倍加速，同时在连续归一化流基准测试中保持相当或更优的解精度。
• 该方法可在仅2次函数评估内实现对连续归一化流的准确采样，相比传统方法有显著提升。
• 超求解器对残差的近似误差为$\mathcal{O}(\delta)$，且在向量场满足利普希茨连续性时具有收敛性理论保证。
• 对超求解器进行联合优化与对抗训练可提升其对刚性ODE动力学的鲁棒性，显著降低复杂情况下的解误差。
• 在多样化动力学上对超求解器进行预训练可实现跨训练迭代的重用，减少重训练需求，加速神经ODE的训练。
• 该框架在精度-计算权衡中实现了帕累托效率，其在NFE和算法复杂度方面均优于经典求解器。