[论文解读] Learning Symbolic Physics with Graph Networks

Miles Cranmer, Rui Xu+2 more|arXiv (Cornell University)|Sep 12, 2019

Topic Modeling参考文献 15被引用 32

一句话总结

本文提出一种具有物理启发归纳偏置的图网络（GN），可在n体模拟中学习可解释的力表示，从而通过符号回归从零开始恢复牛顿万有引力定律。该模型在未见的大规模系统上展现出优越的零样本泛化能力，表明受限的消息空间（L^{e′} = D）相比无约束的高维替代方案，能提升泛化性能。

ABSTRACT

We introduce an approach for imposing physically motivated inductive biases on graph networks to learn interpretable representations and improved zero-shot generalization. Our experiments show that our graph network models, which implement this inductive bias, can learn message representations equivalent to the true force vector when trained on n-body gravitational and spring-like simulations. We use symbolic regression to fit explicit algebraic equations to our trained model's message function and recover the symbolic form of Newton's law of gravitation without prior knowledge. We also show that our model generalizes better at inference time to systems with more bodies than had been experienced during training. Our approach is extensible, in principle, to any unknown interaction law learned by a graph network, and offers a valuable technique for interpreting and inferring explicit causal theories about the world from implicit knowledge captured by deep learning.

研究动机与目标

• 开发一种机器学习方法，从原始动力学数据中学习可解释且具有物理意义的表示。
• 提升图网络在训练时未见的大规模物理系统上的零样本泛化能力。
• 通过符号回归从训练好的神经网络中提取显式的符号物理定律。
• 探究将消息空间维度（L^{e′}）约束为物理维度（D）是否能增强泛化能力。
• 提供一种将深度学习模型解释为因果性、通用性物理理论的方法。

提出的方法

• 通过将消息空间维度（L^{e′}）约束为物理维度D（例如，3D力为3）来为图网络施加归纳偏置。
• 采用改进的图网络架构，包含消息函数φᵉ、边到节点的池化操作ρᵉ→ᵛ，以及节点更新函数φᵛ，其中消息表示对应于物理力。
• 在2D和3D的n体引力和弹簧类模拟中，使用监督学习训练GN以预测系统动力学。
• 对训练好的GN的消息函数φᵉ应用符号回归（通过eureqa），以恢复近似于底层力定律的代数表达式。
• 通过复杂度正则化的模型选择方法应用奥卡姆剃刀原则，从候选拟合中识别出最简洁的符号表达式。
• 通过在训练集规模更大的系统上测试训练好的GN来评估泛化性能，比较不同L^{e′}值下的表现。

实验结果

研究问题

• RQ1 具有物理启发归纳偏置的图网络能否在n体系统中学习到等价于真实物理力的消息表示？
• RQ2 符号回归能否在无先验知识的情况下，从未学习到的消息函数中恢复已知物理定律（例如牛顿万有引力定律）？
• RQ3 将消息空间维度（L^{e′}）约束为物理维度（D）是否能提升对更大系统的零样本泛化能力？
• RQ4 在分布外泛化中，高维消息空间（L^{e′} > D）的GN性能与最小化、物理受限维度（L^{e′} = D）的GN相比如何？
• RQ5 训练好的GN的内部表示能否被解释为因果性、通用性的物理理论，而非黑箱映射？

主要发现

• 当L^{e′} = D时，GN学习到的消息表示在2D和3D n体模拟中等价于真实的力向量。
• 符号回归成功恢复了一个近似牛顿万有引力定律的代数表达式：(0.46m₂Δy − 1.55m₂Δx)/r²，与物理力分量一致。
• 当L^{e′} = D时，GN在训练时未见的更大系统上表现出显著更好的泛化能力，优于L^{e′} > D的模型。
• 当L^{e′} > D时，GN在更大系统上测试时损失急剧上升，表明其通过在消息空间中复杂编码“作弊”，而非学习真实的力定律。
• 通过将L^{e′}最小化至已知的最小维度（D），或直至损失开始下降，可找到最优模型，表明这是提升泛化能力的可行设计原则。
• 该方法能够从隐式神经表示中提取可解释的符号物理定律，弥合了深度学习与科学发现之间的鸿沟。