[论文解读] Hamiltonian Graph Networks with ODE Integrators

Álvaro Sánchez‐González, Victor Bapst+2 more|arXiv (Cornell University)|Sep 27, 2019

Topic Modeling参考文献 11被引用 75

一句话总结

本文将 graph networks 与 differentiable ODE integrators 以及基于 Hamiltonian 的内部表示相结合，以提升所学物理动力学的预测和能量精度，并实现对未见时间步和积分器阶数的泛化。

ABSTRACT

We introduce an approach for imposing physically informed inductive biases in learned simulation models. We combine graph networks with a differentiable ordinary differential equation integrator as a mechanism for predicting future states, and a Hamiltonian as an internal representation. We find that our approach outperforms baselines without these biases in terms of predictive accuracy, energy accuracy, and zero-shot generalization to time-step sizes and integrator orders not experienced during training. This advances the state-of-the-art of learned simulation, and in principle is applicable beyond physical domains.

研究动机与目标

• 通过将 graph networks 与 differentiable ODE integrator 耦合来引入物理信息驱动的归纳偏置，用于预测未来状态。
• 将 Hamiltonian mechanics 作为内部表示以增强能量守恒。
• 展示在新时间步与积分器阶数上的预测精度提升及零样本泛化。

提出的方法

• 将粒子系统表示为图，并使用 graph network 处理状态信息。
• 使用 differentiable Runge-Kutta integrator 来结合学习的时间导数模型来模拟 ODE 动力学。
• 定义三种模型变体：OGN (ODE Graph Network) 学习时间导数，HOGN (Hamiltonian ODE Graph Network) 通过 GN 计算 Hamiltonian，并从其梯度导出导数。
• HOGN 使用通过全球特征的 GN 计算 H(q,p)，并使用 ∂H/∂p 和 -∂H/∂q 作为时间导数来供给积分器。
• 训练比较 DeltaGN（直接状态变化预测）与 OGN 和 HOGN 在 RK1–RK4 上的表现，且在补充材料中比较了辛积分器。
• 评估指标包括 rollout error（位置误差）、energy error（守恒性误差）以及零样本时间步/泛化性能。

实验结果

研究问题

• RQ1 将 Hamiltonian 结构和一个 ODE integrator 偏置引入到 graph networks 中，是否能改善对物理系统的长期预测？
• RQ2 相较于非 Hamiltonian 的基线，Hamiltonian 归纳偏置是否在能量守恒和跨时间步及积分器阶数的泛化方面表现更好？
• RQ3 不同的积分器（RK1–RK4、辛性变体）在准确性和泛化方面与 OGN 和 HOGN 的互动如何？
• RQ4 学习得到的模型在训练时未见的时间步和积分器上能在多大程度上实现泛化？

主要发现

• HOGN 在使用 RK4 的 20 步滚动测试中实现了最高的预测精度。
• 能量误差相较 DeltaGN 基线在 OGN 和 HOGN 更低，在某些条件下 HOGN 能够与真实的 Hamiltonian 行为相匹配。
• 对未见时间步和更高阶积分器的泛化对比 DeltaGN 来说，HOGN 和 OGN 更强，当使用 RK4 进行训练时，HOGN 常常能够匹配或接近真实 Hamiltonian 的表现。
• 与 DeltaGN 相比，HOGN 和 OGN 展现出更好的对训练中未遇到的时间步大小的零样本泛化。
• 在训练中使用更高阶的积分器（如 RK4）对基于 Hamiltonian 的模型收益更多，特别是在能量守恒和跨积分器的泛化方面。
• 补充结果表明辛积分器可能产生不同的泛化行为，在高阶辛积分训练下有时会改善能量守恒，但并非普遍适用。