[论文解读] Learning Neural Event Functions for Ordinary Differential Equations

Ricky T. Q. Chen, Brandon Amos+1 more|arXiv (Cornell University)|Nov 8, 2020

Model Reduction and Neural Networks参考文献 59被引用 24

一句话总结

本文提出 Neural Event ODEs，一种通过可微神经事件函数学习隐式终止条件的框架，扩展了 Neural ODEs，使连续时间系统能够建模离散、瞬时的状态变化，而无需预设结束时间。该方法通过重参数化梯度支持端到端训练，并实现对点过程和混合动力系统中离散控制的有效基于模拟的训练。

ABSTRACT

The existing Neural ODE formulation relies on an explicit knowledge of the termination time. We extend Neural ODEs to implicitly defined termination criteria modeled by neural event functions, which can be chained together and differentiated through. Neural Event ODEs are capable of modeling discrete and instantaneous changes in a continuous-time system, without prior knowledge of when these changes should occur or how many such changes should exist. We test our approach in modeling hybrid discrete- and continuous- systems such as switching dynamical systems and collision in multi-body systems, and we propose simulation-based training of point processes with applications in discrete control.

研究动机与目标

• 通过用可学习的、隐式的事件函数替代固定终止时间，扩展 Neural ODEs，以触发状态不连续性。
• 实现事件触发系统在端到端训练中的应用，其中事件的时间和影响由神经网络决定。
• 支持在连续时间环境中对时间点过程和离散控制策略进行基于模拟的训练。
• 解决在 ODE 求解器中通过可微事件函数反向传播事件位置的挑战。
• 展示该方法在建模混合系统（如弹跳小球、切换动力学以及生物和神经元系统中的控制策略）方面的有效性。

提出的方法

• 引入 ODESolveEvent 作为 ODESolve 的泛化形式，其中当神经事件函数 $ g(t, z(t), \phi) $ 穿过零点时，积分终止。
• 使用具有可学习参数 $ \phi $ 的神经网络对事件函数 $ g $ 进行参数化，使模型能够学习何时以及如何触发状态变化。
• 利用伴随敏感性方法推导出对 ODE 向量场 $ f $ 和事件函数 $ g $ 的梯度，实现对事件时间的反向传播。
• 采用重参数化梯度训练随机时间点过程，实现事件序列的可微采样。
• 使用稀疏聚合器（如最小值或最大值）处理具有独立事件时间的轨迹小批量。
• 将该框架应用于训练连续时间系统中的确定性和随机控制策略，如 HIV 治疗和 Hodgkin-Huxley 神经元动力学。

实验结果

研究问题

• RQ1 神经网络能否在无需预设终止时间的情况下，学习隐式事件函数以触发连续时间系统中的状态不连续性？
• RQ2 当事件函数为可微神经网络时，如何实现对事件时间的梯度反向传播？
• RQ3 该框架能否支持在连续时间动力学中对时间点过程和离散控制策略进行端到端训练？
• RQ4 在事件数量变化的事件序列训练中，重参数化梯度与 REINFORCE 相比表现如何？
• RQ5 能否使用可微事件函数在连续时间系统中有效训练确定性控制策略？

主要发现

• Neural Event ODEs 在弹跳小球动力学中成功建模，完美恢复了物理定律，并在外推性能上优于标准 Neural ODEs。
• 重参数化梯度在较长事件序列（如 5–10 个事件）中实现更快且更稳定的训练，优于 REINFORCE。
• 在 HIV 动力学模型中，该方法通过针对两种抑制剂类型的离散控制，实现了有效的治疗策略学习，性能与现有方法相当或更优。
• 在 Hodgkin-Huxley 模型中，该方法成功通过离散刺激控制学习匹配目标动作电位，其中确定性策略优于随机策略。
• 该框架通过允许事件函数被学习，推广了标准 Neural ODEs，使具有状态不连续性的混合系统建模成为可能。
• 当未遇到根时，通过在事件函数参数中使用较大的方差初始化，可有效防止模型退化为标准 Neural ODEs。