[论文解读] Constraint-based graph network simulator

Yulia Rubanova, Álvaro Sánchez‐González+2 more|arXiv (Cornell University)|Dec 16, 2021

Advanced Graph Neural Networks被引用 10

一句话总结

本文提出了一种基于约束的图网络模拟器（C-GNS），通过优化作为图神经网络实现的可微分约束函数来学习物理动力学，而非直接预测未来状态。该模型在绳索、弹跳小球和流体等物理模拟基准测试中达到最先进精度，并可通过在推理时增加求解器迭代次数，以及集成手工设计的约束而无需重新训练，实现更高的精度。

ABSTRACT

In the area of physical simulations, nearly all neural-network-based methods directly predict future states from the input states. However, many traditional simulation engines instead model the constraints of the system and select the state which satisfies them. Here we present a framework for constraint-based learned simulation, where a scalar constraint function is implemented as a graph neural network, and future predictions are computed by solving the optimization problem defined by the learned constraint. Our model achieves comparable or better accuracy to top learned simulators on a variety of challenging physical domains, and offers several unique advantages. We can improve the simulation accuracy on a larger system by applying more solver iterations at test time. We also can incorporate novel hand-designed constraints at test time and simulate new dynamics which were not present in the training data. Our constraint-based framework shows how key techniques from traditional simulation and numerical methods can be leveraged as inductive biases in machine learning simulators.

研究动机与目标

• 开发一种学习型模拟器，通过求解由学习到的约束函数定义的优化问题来建模物理动力学，而非直接预测未来状态。
• 将传统基于约束的模拟原理融入机器学习模型，作为归纳偏置以提升精度和泛化能力。
• 通过允许用户在推理时增加求解器迭代次数或添加新的手工设计约束，实现在训练后仍具备灵活性。
• 在无需了解真实底层物理约束的前提下，端到端地在观测轨迹数据上进行模型训练。
• 证明基于约束的方法可在精度上超越或匹配显式前向模型，同时具备更高的鲁棒性和适应性。

提出的方法

• 约束函数以图神经网络（GNN）的形式实现，输入为当前和历史状态，输出为表示约束违反程度的标量值。
• 通过求解约束优化问题来预测未来状态：使用基于梯度的求解器最小化学习到的约束函数。
• 优化过程具有可微性，支持通过求解器进行端到端反向传播，从而在观测轨迹上训练GNN。
• 模型将学习到的约束与求解过程解耦，使推理时可独立选择求解器和迭代次数。
• 该框架支持在推理时联合满足学习到的约束与新增的手工设计约束，从而实现对先前未见动力学的模拟。
• 训练过程中使用多个求解器迭代步骤的约束损失加权和，其中超参数 α 控制早期与最终迭代监督之间的权衡。

实验结果

研究问题

• RQ1 能否通过作为GNN实现的学习型约束函数，达到或优于显式前向模型的模拟精度？
• RQ2 能否在不重新训练的情况下，通过增加求解器迭代次数来提升推理时的预测精度？
• RQ3 能否在推理时集成新的手工设计约束，并仍生成有效且一致的模拟结果？
• RQ4 约束学习与求解计算的解耦是否能提升物理模拟中的灵活性与泛化能力？
• RQ5 能否通过在推理时结合学习到的约束与新型物理规则，使模型泛化到未见的动力学？

主要发现

• 在绳索数据集上，C-GNS-GD 的一步位置均方误差为 1.097 ± 0.326，优于次优模型（Forward GNN）的 4.062 ± 0.050。
• 在弹跳小球数据集上，C-GNS-GD 的一步均方误差为 0.103 ± 0.032，显著优于 Forward GNN（0.126 ± 0.009）和 Iterative GNN（0.168 ± 0.019）。
• 在10步滚动预测中，C-GNS-GD 在绳索数据集上的均方误差为 2.222 ± 0.590，优于 Iterative GNN（2.506 ± 1.454）和 Forward GNN（275.851 ± 73.352）。
• 使用 α = 0.25 进行训练的模型在泛化能力上优于 α = 0.0 或 α = 1.0，且在完整轨迹测试中达到最低误差。
• 模型表明，推理时增加求解器迭代次数可提升精度，10次迭代的误差显著低于较少迭代次数的结果。
• C-GNS 通过在推理时结合学习到的约束与手工设计的约束（如刚体关节约束）成功模拟了新动力学，这是显式前向模型所不具备的能力。