[论文解读] Differentiable Physics-informed Graph Networks

Sungyong Seo, Yan Liu|arXiv (Cornell University)|Feb 8, 2019

Topic Modeling参考文献 25被引用 47

一句话总结

DPGN 将可微分物理方程整合到图网络中以建模动态系统；在气候数据上的实验表明预测和归纳学习有所提升，将基于物理的约束与潜在空间表示结合。

ABSTRACT

While physics conveys knowledge of nature built from an interplay between observations and theory, it has been considered less importantly in deep neural networks. Especially, there are few works leveraging physics behaviors when the knowledge is given less explicitly. In this work, we propose a novel architecture called Differentiable Physics-informed Graph Networks (DPGN) to incorporate implicit physics knowledge which is given from domain experts by informing it in latent space. Using the concept of DPGN, we demonstrate that climate prediction tasks are significantly improved. Besides the experiment results, we validate the effectiveness of the proposed module and provide further applications of DPGN, such as inductive learning and multistep predictions.

研究动机与目标

• 将隐含的物理知识融入基于图的神经网络，以建模时空动态。
• 利用可微分物理方程对潜在表示进行正则化和引导。
• 在以物理信息为约束的图网络中，展示气候预测和归纳学习的改进。
• 实现对未被显式物理知识捕捉的潜在模式的学习。

提出的方法

• 将系统表示为包含节点、边和高阶胞集的图，并使用图网络（GN）传播信息。
• 通过将潜在状态约束于物理方程（如扩散、波动）实现为图算子来引入可微分物理。
• 通过编码器–GN–解码器管线学习潜在表示，然后在潜在空间应用基于物理的正则化（L_phy）和监督任务损失（L_sup）。
• 使用多步递归更新使潜在图状态随时间演化，在各步之间强制执行物理约束（在 M 步中应用 L_phy）。
• 通过总损失 L = L_sup + lambda * L_phy 来平衡学习，其中 lambda 调整物理正则化的强度。

实验结果

研究问题

• RQ1 已知的物理知识（以可微分方程表达）能否被注入到图网络中以改进对动力学系统的建模？
• RQ2 在潜在空间中强制执行物理约束是否能提高预测准确性和稳定性，尤其是在气候数据上？
• RQ3 DPGN 是否能够在标签数据有限的情况下支持归纳学习和多步预测，同时保持鲁棒性？
• RQ4 部分或潜在物理知识与完全数据驱动学习在性能和泛化方面的对比如何？

主要发现

模型	洛杉矶区域（一阶段 MSE）	洛杉矶区域（一阶段 std）	圣地亚哥区域（一阶段 MSE）	圣地亚哥区域（一阶段 std）	洛杉矶区域（多阶段 MSE）	洛杉矶区域（多阶段 std）	圣地亚哥区域（多阶段 MSE）	圣地亚哥区域（多阶段 std）
MLP	0.7930	0.2327	1.0645	0.2634	-	-	-	-
LSTM	0.7378	0.0514	0.9213	0.1049	1.4943	0.0970	1.0873	0.0664
GN-only	0.6035	0.0832	0.7007	0.0848	1.3415	0.1195	1.0422	0.0673
GN-skip	0.56546	0.1015	0.6543	0.1195	1.0257	0.1912	0.9872	0.2425
DPGN	0.4435	0.0378	0.5149	0.0831	0.8677	0.1033	0.6714	0.1106

• DPGN 在一阶段和多阶段气候预测任务上优于基线（MLP、LSTM、GN-only、GN-skip）。
• 在气候数据实验中，DPGN 在洛杉矶和圣地亚哥区域都实现了最低的均方误差（MSE），与其他模型相比。
• 在潜在空间中引入基于扩散的物理会产生更稳定、逐步变化的潜在状态，有助于长时域预测。
• DPGN 在若干场景下展现出比 GN-only 更好的区域间归纳泛化（如从 LA 到 SD 及反之）。
• 即使监督数据部分可用，物理约束仍然有益，在标记数据减少的情况下保持有竞争力的性能。