[论文解读] Neural Laplace: Learning diverse classes of differential equations in the Laplace domain

Samuel Holt, Zhaozhi Qian+1 more|arXiv (Cornell University)|Jun 10, 2022

Model Reduction and Neural Networks被引用 5

一句话总结

Neural Laplace 提出了一种统一的深度学习框架，通过在拉普拉斯域中使用神经网络学习其解，来对多种微分方程（包括 ODE、DDE、IDE、刚性方程和受迫 ODE）进行建模。通过利用反拉普拉斯变换和立体投影将复数拉普拉斯域紧凑化，该方法实现了对具有历史依赖性、不连续性和刚性特性的系统进行精确、稳定且高效的建模与外推，其在准确性和推理速度方面均优于标准的 Neural ODE。

ABSTRACT

Neural Ordinary Differential Equations model dynamical systems with ODEs learned by neural networks. However, ODEs are fundamentally inadequate to model systems with long-range dependencies or discontinuities, which are common in engineering and biological systems. Broader classes of differential equations (DE) have been proposed as remedies, including delay differential equations and integro-differential equations. Furthermore, Neural ODE suffers from numerical instability when modelling stiff ODEs and ODEs with piecewise forcing functions. In this work, we propose Neural Laplace, a unified framework for learning diverse classes of DEs including all the aforementioned ones. Instead of modelling the dynamics in the time domain, we model it in the Laplace domain, where the history-dependencies and discontinuities in time can be represented as summations of complex exponentials. To make learning more efficient, we use the geometrical stereographic map of a Riemann sphere to induce more smoothness in the Laplace domain. In the experiments, Neural Laplace shows superior performance in modelling and extrapolating the trajectories of diverse classes of DEs, including the ones with complex history dependency and abrupt changes.

研究动机与目标

• 解决 Neural ODE 在建模具有长程依赖性、不连续性和刚性特性的系统时的局限性。
• 在单一深度学习框架下统一建模多种微分方程类别，如 ODE、DDE、IDE 以及受迫/刚性 ODE。
• 通过全局反拉普拉斯变换避免分步数值 ODE 求解器，提升训练与推理效率。
• 通过将复平面映射到紧致的黎曼球面，利用立体投影提升拉普拉斯域中的学习稳定性。
• 实现无需预先指定方程类别的数据驱动、隐式识别底层微分方程类别的能力。

提出的方法

• 该框架使用神经网络 gβ 对系统解的拉普拉斯变换 F(s) 进行建模，输入为编码在 p ∈ ℝ^K 中的初始条件和复变量 s。
• 应用立体投影将复数拉普拉斯变量 s ∈ ℂ 映射到紧致的黎曼球面，消除无穷远处的奇点，并提升学习过程中的几何平滑性。
• 通过全局复指数和的反拉普拉斯变换重构时域解 x(t)，从而绕过数值 ODE 求解器。
• 模型通过端到端训练最小化预测轨迹与真实轨迹在时域中的均方误差。
• 通过学习 F(s) 在变换域中的结构，隐式捕捉延迟、积分和分段强迫等多样化动力学行为。
• 通过在任意未来时间点 t 评估反拉普拉斯变换，实现无需迭代 ODE 求解的外推能力。

实验结果

研究问题

• RQ1 单一神经网络架构能否有效学习并泛化于多种微分方程类别，包括 ODE、DDE、IDE 以及刚性/受迫 ODE？
• RQ2 在拉普拉斯域中使用立体投影建模是否相比时域学习能提升学习稳定性和泛化能力？
• RQ3 该框架能否准确建模具有导数行为突变或不连续性的系统，而这些特性在平滑的 Neural ODE 中难以捕捉？
• RQ4 Neural Laplace 的推理效率与标准 Neural ODE 相比如何，特别是在外推过程中函数评估次数（NFE）方面？
• RQ5 初始条件嵌入维度 K 的选择在多大程度上影响模型性能？

主要发现

• 当使用立体投影时，Neural Laplace 的测试 RMSE 相较基线方法降低了一个数量级，证明其在稳定拉普拉斯域学习方面的有效性。
• 该模型成功捕捉了刚性 ODE 中的导数不连续性和周期性行为，而标准 Neural ODE 和 Latent ODE 因强制平滑性而无法建模这些特性。
• Neural Laplace 仅需一次前向传播即可评估任意未来时间点的解，而基于 ODE 的方法随时间增长而性能急剧下降，在 100 秒外推中 NFE 最少可减少 1000 倍。
• 该方法每轮训练的耗时至少比基于 ODE 的基线快一个数量级，且收敛速度相当或更快。
• 性能对嵌入维度 K 的选择具有鲁棒性，在 K ≥ 2 时结果稳定，表明对这一超参数的敏感度较低。
• 该框架能从数据中隐式学习正确的微分方程类别，而无需预先指定 ODE、DDE 或 IDE 的结构。