[论文解读] Discovery of Dynamics Using Linear Multistep Methods

Rachael T. Keller, Qiang Du|arXiv (Cornell University)|Dec 29, 2019

Model Reduction and Neural Networks参考文献 58被引用 9

一句话总结

本文提出了一种新颖的理论框架，用于利用线性多步法（LMMs）从离散状态数据中发现动力系统，将问题视为逆过程而非正向积分。该研究建立了新的相容性和稳定性准则，证明了 Adams-Bashforth（M=1–6）、Adams-Moulton（M=0,1）以及所有 M≥1 的后向微分公式（BDF）的收敛性，而其他格式通常不收敛，该结论得到了非线性振子数值实验的支持。

ABSTRACT

Linear multistep methods (LMMs) are popular time discretization techniques for the numerical solution of differential equations. Traditionally they are applied to solve for the state given the dynamics (the forward problem), but here we consider their application for learning the dynamics given the state (the inverse problem). This repurposing of LMMs is largely motivated by growing interest in data-driven modeling of dynamics, but the behavior and analysis of LMMs for discovery turn out to be significantly different from the well-known, existing theory for the forward problem. Assuming a highly idealized setting of being given the exact state with a zero residual of the discrete dynamics, we establish for the first time a rigorous framework based on refined notions of consistency and stability to yield convergence using LMMs for discovery. When applying these concepts to three popular $M-$step LMMs, the Adams-Bashforth, Adams-Moulton, and Backwards Differentiation Formula schemes, the new theory suggests that Adams-Bashforth for $M$ ranging from $1$ and $6$, Adams-Moulton for $M=0$ and $M=1$, and Backwards Differentiation Formula for all positive $M$ are convergent, and, otherwise, the methods are not convergent in general. In addition, we provide numerical experiments to both motivate and substantiate our theoretical analysis.

研究动机与目标

• 为在离散状态数据中发现动力学的逆问题中使用线性多步法（LMMs）建立严格的数值分析框架。
• 将经典 LMM 理论——原本用于正向时间积分——拓展至数据驱动的动力学发现情境。
• 在理想化条件下（状态精确且离散动力学残差为零）识别出哪些 LMM 是收敛的。
• 解释尽管作为时间积分器时表现稳定，为何基于神经网络的 LMM（如 Adams-Moulton）在实际中表现出异常行为。
• 为未来在动力学发现中开展正则化、不完整数据和物理信息学习的研究奠定基础。

提出的方法

• 将经典 LMM 公式适配至逆问题：给定离散状态，通过时间离散化推断底层动力学 f(x)。
• 提出适用于逆发现场景的精细化相容性和稳定性定义，与正向问题理论相区别。
• 应用根条件和线性多步法稳定性分析，评估 Adams-Bashforth、Adams-Moulton 和后向微分公式格式的收敛性。
• 在离散动力学上施加零残差条件，以建模理想化的数据保真度，从而支持理论收敛性分析。
• 通过在二维阻尼立方振子上的数值实验，验证理论预测并展示收敛趋势。
• 提出一种广义损失函数，整合动力学一致性、数据保真度和正则化，其中 LMM 残差是关键组成部分。

实验结果

研究问题

• RQ1 在理想化条件下（状态精确且残差为零），哪些线性多步法在用于数据驱动的动力学发现时是收敛的？
• RQ2 当将经典 LMM 稳定性和相容性准则应用于动力学发现的逆问题时，其与作为时间积分器时有何不同？
• RQ3 为何某些在理论上稳定的 LMM（如 Adams-Moulton）在基于神经网络的动力学发现中表现出非收敛行为？
• RQ4 能否通过精细化的相容性和稳定性概念，严格建立 LMM 在动力学发现中的收敛性？
• RQ5 神经网络的表达能力和正则化在稳定或 destabilize 基于 LMM 的动力学发现中起到何种作用？

主要发现

• Adams-Bashforth 方法在 M=1 至 6 范围内收敛，理论分析与数值实验均予以证实。
• Adams-Moulton 方法仅在 M=0 和 M=1 时收敛，而更高阶变体在新框架下通常不收敛。
• 后向微分公式（BDF）方法对所有正整数 M 均收敛，表明其在逆问题设置中具有强稳定性和收敛性。
• 在二维阻尼立方振子上的数值实验表明，AB 和 BDF 方法随 h 减小和 M 增大表现出收敛的误差衰减，而 AM 方法则表现出不规则行为。
• Adams-Moulton 网络中观察到的不稳定性并非源于神经网络架构，而是源于该方法在逆发现情境下固有的非收敛性。
• 本研究确立了动力学发现中的收敛性在很大程度上取决于 LMM 的选择，即使某些方法在正向问题中稳定，也可能在逆问题中失效。