[论文解读] Neural ODE Processes

Alexander Norcliffe, Cristian Bodnar+3 more|arXiv (Cornell University)|Jan 1, 2021

Neural Networks and Applications参考文献 13被引用 7

一句话总结

神经ODE过程（NDPs）提出了一种概率框架，将神经ODE与神经过程相结合，以实现对具有自适应动态和不确定性估计的时间序列建模。通过学习基于数据的ODE分布，NDPs能够在新观测数据到达时实现快速适应，并在仅稀疏、非均匀采样数据的情况下捕捉合理的轨迹，其在低维和高维时间序列任务（包括变速度MNIST数字）上的表现优于标准神经过程（NPs）和神经ODE（NODEs）。

ABSTRACT

Neural Ordinary Differential Equations (NODEs) use a neural network to model the instantaneous rate of change in the state of a system. However, despite their apparent suitability for dynamics-governed time-series, NODEs present a few disadvantages. First, they are unable to adapt to incoming data points, a fundamental requirement for real-time applications imposed by the natural direction of time. Second, time series are often composed of a sparse set of measurements that could be explained by many possible underlying dynamics. NODEs do not capture this uncertainty. In contrast, Neural Processes (NPs) are a family of models providing uncertainty estimation and fast data adaptation but lack an explicit treatment of the flow of time. To address these problems, we introduce Neural ODE Processes (NDPs), a new class of stochastic processes determined by a distribution over Neural ODEs. By maintaining an adaptive data-dependent distribution over the underlying ODE, we show that our model can successfully capture the dynamics of low-dimensional systems from just a few data points. At the same time, we demonstrate that NDPs scale up to challenging high-dimensional time-series with unknown latent dynamics such as rotating MNIST digits.

研究动机与目标

• 解决神经ODE缺乏适应性的问题，后者无法在新数据到达时实时更新预测。
• 在仅获得稀疏或非均匀采样时间序列数据时，捕捉潜在动态的不确定性。
• 将显式的时间归纳偏置整合到神经过程框架中，以建模时间索引的随机过程。
• 实现高维时间序列的可扩展建模，包括具有潜在动态的旋转MNIST数字等任务。
• 克服标准NPs在处理时间有序依赖关系和动态系统行为方面的局限性。

提出的方法

• 定义一个随机过程，其中动态由由上下文点参数化的神经ODE分布所控制。
• 使用神经网络编码上下文点，以推断初始状态（L0）和ODE导数函数（D）的潜在分布。
• 从ODE的潜在分布中采样，生成多条合理的轨迹，每条轨迹代表一个一致的解。
• 将ODE积分条件化于采样的初始状态和导数函数，然后在目标时间点解码结果状态。
• 使用近端变分推断进行端到端训练，采用排列不变的编码器处理上下文点。
• 通过利用神经过程的归纳偏置，同时借助ODE积分引入时间感知动态，保持模型的可扩展性。

实验结果

研究问题

• RQ1 模型能否结合神经ODE的动态建模能力与神经过程的不确定性估计和快速适应能力？
• RQ2 与标准NODEs或NPs相比，此类模型在处理稀疏和非均匀采样时间序列数据时表现如何？
• RQ3 显式将时间建模为连续有序变量，是否能提升在具有潜在动态的时间序列任务上的性能？
• RQ4 该框架能否扩展到具有复杂非平凡潜在动态的高维时间序列？
• RQ5 当不同样本间动态变化时，模型在训练时间范围之外的外推性能如何，尤其是在动态变化的情况下？

主要发现

• NDPs仅凭少量上下文点即可捕捉多种合理的动态，展示了在低维系统中不确定性感知建模的能力。
• 在变速度MNIST任务中，NDPs能够泛化到未见过的时间范围，并准确重建具有可变角速度的数字，而标准NPs无法完成重建或插值。
• 尽管仅训练50个周期，NDPs的训练损失仍低于训练500个周期的NPs，表明其收敛速度更快，优化效率更高。
• NDPs在合成1D和2D系统以及高维任务（如旋转MNIST）中均保持强劲性能，展现出良好的可扩展性和鲁棒性。
• 该模型能够基于任意上下文集条件化ODE动态，实现对任意观测数据点的动态适应，这与ODE2VAE或标准NODEs不同。
• NDPs在外推任务中优于NPs，证明显式的时间归纳偏置显著提升了模型在训练时间窗口之外的泛化能力。