[论文解读] Encoding physics to learn reaction-diffusion processes

Chengping Rao, Pu Ren+4 more|arXiv (Cornell University)|Jun 9, 2021

Model Reduction and Neural Networks被引用 8

一句话总结

该论文提出了一种物理编码深度学习框架 PeRCNN，通过将已知的PDE结构嵌入神经网络，以提高在稀疏、噪声数据下对反应-扩散过程的学习能力。通过硬编码物理约束并利用符号计算构建动态库矩阵，该方法实现了对PDE的高精度、可解释性和可泛化性的前向与反向建模，在数据效率和鲁棒性方面优于标准PINNs。

ABSTRACT

Modeling complex spatiotemporal dynamical systems, such as the reaction-diffusion processes, have largely relied on partial differential equations (PDEs). However, due to insufficient prior knowledge on some under-explored dynamical systems, such as those in chemistry, biology, geology, physics and ecology, and the lack of explicit PDE formulation used for describing the nonlinear process of the system variables, to predict the evolution of such a system remains a challenging task. Unifying measurement data and our limited prior physics knowledge via machine learning provides us with a new path to solving this problem. Existing physics-informed learning paradigms impose physics laws through soft penalty constraints, whose solution quality largely depends on a trial-and-error proper setting of hyperparameters. Since the core of such methods is still rooted in black-box neural networks, the resulting model generally lacks interpretability and suffers from critical issues of extrapolation and generalization. To this end, we propose a deep learning framework that forcibly encodes given physics structure to facilitate the learning of the spatiotemporal dynamics in sparse data regimes. We show how the proposed approach can be applied to a variety of problems regarding the PDE system, including forward and inverse analysis, data-driven modeling, and discovery of PDEs. The resultant learning paradigm that encodes physics shows high accuracy, robustness, interpretability and generalizability demonstrated via extensive numerical experiments.

研究动机与目标

• 为解决在PDE形式不完整或未知的系统中学习时空动力学的挑战，尤其是在数据稀缺条件下的问题。
• 通过将物理结构硬编码到模型中，克服物理信息神经网络（PINNs）的局限性，如对软惩罚约束的依赖性以及泛化能力差的问题。
• 开发一种框架，实现稳健的前向与反向分析、数据驱动建模以及PDE发现，具备高度可解释性和泛化能力。
• 通过将符号计算与稀疏回归相结合，实现动态库构建，以提升模型的精度与效率。

提出的方法

• 该框架采用一种新型网络结构PeRCNN，将已知的PDE结构（如反应-扩散项）直接嵌入网络层中，实现对物理定律的硬编码。
• 一个符号计算模块从网络输出中提取候选函数（如u, u², ∂u/∂x），构成动态库矩阵Θ(U)，以覆盖可能的PDE项空间。
• 控制PDE被表述为线性系统：Ut = Θ(U)Ξ，其中Ξ为稀疏系数向量，代表PDE的系数。
• 通过STRidge算法进行稀疏回归，以识别PDE中相关项的最小集合，实现模型精度与稀疏性的平衡。
• 通过微调步骤，将PDE系数视为可训练变量，并在完整测量数据上重新训练，以优化发现的方程。
• 该方法在稀疏回归阶段利用子采样数据，以保持计算效率，同时不损失精度。

实验结果

研究问题

• RQ1 在从稀疏且含噪声的数据中学习反应-扩散过程时，与PINNs相比，硬编码物理结构的深度学习模型是否能实现更优性能？
• RQ2 将符号计算与稀疏回归相结合，如何提升所发现PDE的精度与可解释性？
• RQ3 所提出的框架在不同PDE系统中的泛化能力如何，包括前向预测、反向分析以及PDE发现？
• RQ4 与预设候选集相比，动态库构建方法在PDE发现任务中是否表现更优？
• RQ5 在不需额外数据的情况下，系数微调是否能显著提升所发现PDE的精度？

主要发现

• 所提出的PeRCNN框架在仅使用完整数据10%的情况下进行初始稀疏回归，仍能对反应-扩散过程实现高精度与强鲁棒性的前向与反向建模。
• 与标准PINNs相比，该方法在泛化能力和可解释性方面表现更优，后者常因依赖软惩罚约束而无法满足物理约束。
• 采用STRidge算法的稀疏回归能以高稀疏性与低回归误差成功识别正确的PDE结构，该结果在合成数据集与真实世界数据集上均得到验证。
• 在完整数据集上对PDE系数进行微调可显著提升预测精度，证实了端到端训练策略的有效性。
• 通过符号计算实现的动态库构建优于预设候选集，能够实现更精确且自适应的PDE发现。
• 由于在稀疏回归阶段采用子采样，该框架计算效率高，并在2D Gray-Scott与Gierer-Meinhardt反应-扩散系统中保持了高保真度的重建解。