[论文解读] Gaussian Processes simplify differential equations

Jong‐Hyeon Lee, Boumediene Hamzi+2 more|arXiv (Cornell University)|Oct 3, 2024

Gaussian Processes and Bayesian Inference被引用 4

一句话总结

该论文提出了一种基于高斯过程（GP）的框架，通过发现非线性与线性PDE或ODE轨迹之间的映射关系，实现对非线性微分方程的学习与简化。利用核回归和计算图补全技术，该方法成功学习了Burgers方程的Cole-Hopf变换以及Brusselator的局部标准型，实现了无需已知底层方程的、精确的数据驱动线性化，证明了高斯过程可通过隐式变换学习系统性地简化复杂动力学。

ABSTRACT

In this paper we use Gaussian processes (kernel methods) to learn mappings between trajectories of distinct differential equations. Our goal is to simplify both the representation and the solution of these equations. We begin by examining the Cole-Hopf transformation, a classical result that converts the nonlinear, viscous Burgers' equation into the linear heat equation. We demonstrate that this transformation can be effectively learned using Gaussian process regression, either from single or from multiple initial conditions of the Burgers equation. We then extend our methodology to discover mappings between initial conditions of a nonlinear partial differential equation (PDE) and a linear PDE, where the exact form of the linear PDE remains unknown and is inferred through Computational Graph Completion (CGC), a generalization of Gaussian Process Regression from approximating single input/output functions to approximating multiple input/output functions that interact within a computational graph. Further, we employ CGC to identify a local transformation from the nonlinear ordinary differential equation (ODE) of the Brusselator to its Poincaré normal form, capturing the dynamics around a Hopf bifurcation. We conclude by addressing the broader question of whether systematic transformations between nonlinear and linear PDEs can generally exist, suggesting avenues for future research.

研究动机与目标

• 开发一种数据驱动的方法，用于发现将非线性微分方程简化为线性方程的坐标变换。
• 证明高斯过程可在仅使用轨迹数据的情况下，学习已知变换（如Cole-Hopf变换）而无需显式公式。
• 将该方法扩展至目标线性PDE未知的情形，利用计算图补全推断变换。
• 通过基于轨迹的GP回归，学习在分岔点附近（如Brusselator中的Hopf分岔）的局部标准型。
• 探索利用核方法系统发现非线性与线性PDE之间线性化变换的一般可行性。

提出的方法

• 使用高斯过程回归来学习非线性和线性微分方程轨迹之间的映射关系，将变换视为函数逼近问题。
• 该方法利用核方法和再生核希尔伯特空间（RKHS）确保平滑、概率性的函数估计，并具备不确定性量化能力。
• 计算图补全（CGC）将GP回归推广至多个相互作用的输入-输出函数，实现从数据中推断未知线性PDE。
• 对于Cole-Hopf变换，将GP回归应用于Burgers方程与热方程的初始条件对，从轨迹数据中学习变换。
• 对于Brusselator，GP回归学习其在Hopf分岔附近的局部变换至Poincaré标准型，仅依赖轨迹数据而无需显式方程。
• 采用基于优化的方法，在线性PDE结构未知时，通过拟合GP模型到观测轨迹来发现其结构。

(a)

实验结果

研究问题

• RQ1 高斯过程能否仅从轨迹数据中学习Burgers方程与热方程之间的Cole-Hopf变换？
• RQ2 该方法能否通过数据驱动推断，发现能将给定非线性PDE线性化的未知线性PDE？
• RQ3 基于GP的回归能否在不知晓底层方程的情况下，学习非线性ODE在分岔点附近的局部标准型？
• RQ4 核函数选择与超参数学习如何影响所发现变换的准确性？
• RQ5 该框架在更广泛类别的非线性PDE中系统发现线性化变换方面，具有怎样的泛化潜力？

主要发现

• 仅使用单个或多个初始条件的轨迹数据，即可通过高斯过程回归准确学习Burgers方程与热方程之间的Cole-Hopf变换。
• 即使线性PDE的确切形式未知，通过结合GP回归与计算图补全，该方法仍能实现高精度的变换学习。
• 对于Brusselator，基于GP的方法成功学习了其在Hopf分岔附近的局部变换至Poincaré标准型，无需显式方程即可捕捉动力学行为。
• 核函数的选择显著影响学习精度，本文提出了一种有效的核学习方法以提升性能。
• 该框架表明，高斯过程可作为强大且原理清晰的工具，通过数据驱动的变换学习实现对复杂动力系统发现与简化的有效手段。
• 结果表明，利用基于核的方法系统发现非线性与线性PDE之间的线性化变换具有可行性，为动力系统分析开辟了新途径。

(b)