[论文解读] Graph networks as learnable physics engines for inference and control

Álvaro Sánchez‐González, Nicolas Heess+5 more|arXiv (Cornell University)|Jun 4, 2018

Data Visualization and Analytics参考文献 42被引用 280

一句话总结

图网络被用作对复杂物理系统的可学习前向、推理和控制模型，能够在不同环境中实现泛化、系统辨识和基于梯度的规划。

ABSTRACT

Understanding and interacting with everyday physical scenes requires rich knowledge about the structure of the world, represented either implicitly in a value or policy function, or explicitly in a transition model. Here we introduce a new class of learnable models--based on graph networks--which implement an inductive bias for object- and relation-centric representations of complex, dynamical systems. Our results show that as a forward model, our approach supports accurate predictions from real and simulated data, and surprisingly strong and efficient generalization, across eight distinct physical systems which we varied parametrically and structurally. We also found that our inference model can perform system identification. Our models are also differentiable, and support online planning via gradient-based trajectory optimization, as well as offline policy optimization. Our framework offers new opportunities for harnessing and exploiting rich knowledge about the world, and takes a key step toward building machines with more human-like representations of the world.

研究动机与目标

• 将图网络（GNs）作为对象和关系为中心的动态系统表示的归纳偏置引入。
• 开发基于GN的前向模型，能够在各种物理设定中准确预测未来状态。
• 通过基于GN的推理模型实现隐式系统辨识，从动态中推断未观测到的静态属性。
• 展示用于基于模型的规划（MPC）和梯度优化策略的可微分GN模型。
• 展示在多种结构各异的系统和现实世界机器人数据上的泛化能力。

提出的方法

• 将物理系统表示为图，节点为刚体，边为关节。
• 使用具有边更新、节点更新和全局更新函数的GN块，将输入图映射到输出图。
• 训练前向GN模型以预测状态差分用于一步预测，并对更长时间步使用循环GN变体。
• 实现一个隐式系统辨识GN，用于部分观测，通过从动态观测中学习潜在静态属性。
• 使用可微分的GN模型应用基于梯度的轨迹优化（MPC）和基于SVG的策略学习。

Figure 1: (Top) Our experimental physical systems. (Bottom) Samples of parametrized versions of these systems (see videos: link ).

实验结果

研究问题

• RQ1 图网络是否能够从数据中为多样的物理系统学习准确的前向动力学？
• RQ2 基于GN的模型是否能在具有不同数量的刚体和关节结构的系统之间实现泛化？
• RQ3 基于GN的推理是否能够从观测到的动力学中识别未见过的静态属性？
• RQ4 在部分观测条件下，基于GN的模型是否对基于模型的规划和策略优化有效？

主要发现

• 基于GN的前向模型在多个系统中实现了准确预测，并在若干系统中优于学习的MLP基线，尤其是在存在重复结构时。
• 单个GN模型能够对具有不同数量的连杆和结构的系统实现泛化，包括对未见配置的零-shot泛化。
• 基于GN的系统辨识在短的识别阶段后实现了对长期预测的准确性，即使在部分观测下也是如此。
• 基于GN的MPC和基于SVG的控制在与强基线的比较中达到有竞争力的性能，并且能够在部分观测下运行。
• 通过GN的归纳偏置实现的模型共享在多系统和静态参数变化方面提供了强健的泛化能力。

Figure 2: Graph representations and GN-based models. (a) A physical system’s bodies and joints can be represented by a graph’s nodes and edges, respectively. (b) A GN block takes a graph as input and returns a graph with the same structure but different edge, node, and global features as output (see