[论文解读] Deep learning of physical laws from scarce data.

Zhao Chen, Yang Liu+1 more|arXiv (Cornell University)|May 5, 2020

Model Reduction and Neural Networks被引用 13

一句话总结

该论文提出了一种物理信息深度学习框架，通过结合深度神经网络进行表征学习、自动微分进行导数计算以及稀疏回归进行项选择，从稀缺且含噪声的数据中发现控制偏微分方程（PDEs）。该方法在数据稀缺和噪声环境下仍能实现鲁棒且精确的PDE发现，展现出在实际科学应用中的强大潜力。

ABSTRACT

Harnessing data to discover the underlying governing laws or equations that describe the behavior of complex physical systems can significantly advance our modeling, simulation and understanding of such systems in various science and engineering disciplines. Recent advances in sparse identification show encouraging success in distilling closed-form governing equations from data for a wide range of nonlinear dynamical systems. However, the fundamental bottleneck of this approach lies in the robustness and scalability with respect to data scarcity and noise. This work introduces a novel physics-informed deep learning framework to discover governing partial differential equations (PDEs) from scarce and noisy data for nonlinear spatiotemporal systems. In particular, this approach seamlessly integrates the strengths of deep neural networks for rich representation learning, automatic differentiation and sparse regression to approximate the solution of system variables, compute essential derivatives, as well as identify the key derivative terms and parameters that form the structure and explicit expression of the PDEs. The efficacy and robustness of this method are demonstrated on discovering a variety of PDE systems with different levels of data scarcity and noise. The resulting computational framework shows the potential for closed-form model discovery in practical applications where large and accurate datasets are intractable to capture.

研究动机与目标

• 解决在复杂时空系统中从有限且含噪声的数据中发现物理定律的挑战。
• 克服现有稀疏识别方法在数据稀缺和噪声环境下的可扩展性和鲁棒性限制。
• 开发一个统一框架，整合深度学习用于表征学习、导数计算以及稀疏回归以识别PDE结构。
• 实现在大规模、高保真数据集难以获取的实际场景中的闭式模型发现。

提出的方法

• 利用深度神经网络从稀疏且含噪声的数据中学习系统变量的丰富、低维表征。
• 利用自动微分计算神经网络输出的高阶时空导数。
• 将稀疏回归问题公式化，以识别构成控制PDE的最相关导数项和参数。
• 在学习过程中整合物理约束，确保与已知物理定律的一致性。
• 使用物理信息损失函数正则化神经网络训练，提升在数据稀缺条件下的泛化能力。
• 端到端优化整个流程，联合学习解并发现底层PDE结构。

实验结果

研究问题

• RQ1 深度学习框架能否在高度稀缺且含噪声的数据下稳健地发现真实的底层PDE？
• RQ2 与传统方法相比，自动微分与稀疏回归的结合如何提升PDE发现性能？
• RQ3 在不同类型的非线性时空PDE下，该方法在各种数据条件下具有多大程度的泛化能力？
• RQ4 在真实科学应用中，该方法对噪声水平和数据稀疏性的敏感程度如何？

主要发现

• 该框架即使在仅使用传统方法所需数据1%的情况下，也能成功发现多种非线性时空系统的控制PDE。
• 该方法在显著噪声水平下仍保持高精度和鲁棒性，在数据稀缺环境下优于标准稀疏识别技术。
• 将深度神经网络与稀疏回归结合，能够精确逼近解及其导数，这对PDE发现至关重要。
• 即使在空间和时间上采样稀疏的数据下，该框架也能以高保真度识别出正确的PDE结构和参数。
• 该方法在包括反应-扩散系统和波动类系统在内的多种PDE类别中展现出可扩展性和泛化能力。
• 物理信息正则化显著提升了模型在低数据场景下的稳定性并减少了过拟合。