[论文解读] Hard Encoding of Physics for Learning Spatiotemporal Dynamics

Chengping Rao, Hao Sun+1 more|arXiv (Cornell University)|May 2, 2021

Model Reduction and Neural Networks参考文献 26被引用 14

一句话总结

该论文提出PeRCNN，一种将已知物理规律硬编码到网络架构中的物理编码循环-卷积神经网络，通过一种新型的乘法$Π$-模块替代传统激活函数。该模型在数据稀缺和噪声环境下表现出优越的鲁棒性，并在长期时空外推任务中展现出强大的泛化能力，优于当前最先进的模型如ConvLSTM和DHPM。

ABSTRACT

Modeling nonlinear spatiotemporal dynamical systems has primarily relied on partial differential equations (PDEs). However, the explicit formulation of PDEs for many underexplored processes, such as climate systems, biochemical reaction and epidemiology, remains uncertain or partially unknown, where very limited measurement data is yet available. To tackle this challenge, we propose a novel deep learning architecture that forcibly encodes known physics knowledge to facilitate learning in a data-driven manner. The coercive encoding mechanism of physics, which is fundamentally different from the penalty-based physics-informed learning, ensures the network to rigorously obey given physics. Instead of using nonlinear activation functions, we propose a novel elementwise product operation to achieve the nonlinearity of the model. Numerical experiment demonstrates that the resulting physics-encoded learning paradigm possesses remarkable robustness against data noise/scarcity and generalizability compared with some state-of-the-art models for data-driven modeling.

研究动机与目标

• 解决在有限、噪声数据及部分未知或不确定控制PDE的情况下建模非线性时空系统的问题。
• 克服基于惩罚项的物理信息神经网络（PINNs）的局限性，后者依赖软约束，可能在训练过程中无法严格遵守物理定律。
• 开发一种数据驱动模型，通过架构层面的硬编码而非损失函数正则化，严格强制执行已知物理规律（如PDE项、初始/边界条件）。
• 通过在循环模块中用乘法、模仿物理规律的操作替代非线性激活函数，提升模型的可解释性与泛化能力。
• 利用最少的数据实现复杂系统（如气候模型和反应-扩散过程）的长期准确外推。

提出的方法

• 提出一种新型深度学习架构PeRCNN，由全卷积的初始状态生成器（ISG）和用于时间演化的循环$Π$-模块组成。
• 实现$Π$-模块，通过并行卷积层输出特征图之间的逐元素乘积操作引入非线性，模拟PDE中的项。
• 将已知物理规律（如PDE结构、初始/边界条件）直接嵌入网络架构，确保物理约束被严格满足。
• 通过在$Π$-模块上应用前向欧拉时间推进格式实现时间演化，支持跨时间步的循环计算。
• 使用1×1卷积层融合特征，支持残差学习，提升训练稳定性和模型表达能力。
• 采用监督损失在稀疏、噪声测量数据上端到端训练模型，并基于验证损失采用早停策略。

实验结果

研究问题

• RQ1 能否设计一种深度学习模型，强制将已知物理规律编码进其架构中，而非依赖损失函数中的惩罚项？
• RQ2 与基于惩罚项的方法相比，通过架构设计实现物理规律的硬编码，在应对数据噪声和稀缺性时如何提升模型鲁棒性？
• RQ3 在时空建模中，用乘法操作替代激活函数在多大程度上提升模型的可解释性与泛化能力？
• RQ4 通过学习权重的符号化分析，模型能否恢复或近似出底层PDE结构？
• RQ5 与当前最先进的模型如ConvLSTM和DHPM相比，PeRCNN在训练范围之外的长期外推中表现如何？

主要发现

• PeRCNN在长期外推中表现出优越的泛化能力，在训练时间范围之外仍能保持低误差传播，而其他模型则显著发散。
• 在二维Burgers方程实验中，PeRCNN在$t = 0.395$时实现稳定且精确的预测，而ConvLSTM和DHPM等模型与真实值偏差显著。
• PeRCNN的累积RMSE曲线在外推过程中保持平坦且数值较低，表明性能稳定，而其他模型则出现快速误差增长。
• 在三维Gray-Scott反应-扩散实验中，PeRCNN在多个浓度水平下生成了物理上合理的等值面，视觉与定量精度均优于所有基线模型。
• 对学习得到的$Π$-模块进行符号分析表明，模型的有效动力学与真实底层PDE高度近似，证实了其可解释性与物理一致性。
• PeRCNN对训练数据中10%的高斯噪声表现出强鲁棒性，误差指标随时间趋于稳定，表明对数据污染具有强大抗性。