[論文レビュー] Graph networks as learnable physics engines for inference and control

Álvaro Sánchez‐González, Nicolas Heess+5 more|arXiv (Cornell University)|Jun 4, 2018

Data Visualization and Analytics参考文献 42被引用数 280

ひとこと要約

グラフネットワークは、複雑な物理システムの学習可能な前方、推論、制御モデルとして用いられ、さまざまな環境にわたる一般化、システム同定、および勾配ベースの計画を可能にする。

ABSTRACT

Understanding and interacting with everyday physical scenes requires rich knowledge about the structure of the world, represented either implicitly in a value or policy function, or explicitly in a transition model. Here we introduce a new class of learnable models--based on graph networks--which implement an inductive bias for object- and relation-centric representations of complex, dynamical systems. Our results show that as a forward model, our approach supports accurate predictions from real and simulated data, and surprisingly strong and efficient generalization, across eight distinct physical systems which we varied parametrically and structurally. We also found that our inference model can perform system identification. Our models are also differentiable, and support online planning via gradient-based trajectory optimization, as well as offline policy optimization. Our framework offers new opportunities for harnessing and exploiting rich knowledge about the world, and takes a key step toward building machines with more human-like representations of the world.

研究の動機と目的

• 動的システムのオブジェクト中心および関係中心の表現のための誘導的バイアスとして、グラフネットワーク（GNs）を導入する。
• さまざまな物理設定に跨る未来状態を正確に予測するGNベースの前方モデルを開発する。
• GNベースの推論モデルを用いた暗黙的なシステム識別を可能にし、ダイナミクスから観測されない静的特性を推定する。
• モデル予測制御（MPC）および勾配ベースのポリシー最適化のための微分可能なGNベースモデルを実証する。
• 複数の構造的に異なるシステムおよび実世界のロボットデータに対する一般化能力を示す。

提案手法

• 物理系を、ノードを物体、エッジを関節とするグラフとして表現する。
• エッジ単位、ノード単位、グローバル更新関数を用いたGNブロックを使用して、入力グラフを出力グラフへ写像する。
• 一ステップの状態差を予測する前方GNモデルを訓練し、長期的な展望には再帰的なGNバリアントを用いる。
• 動的観測から潜在的な静的特性を学習して部分観測性を扱う暗黙的なシステム識別GNを実装する。
• 微分可能なGNモデルを用いて、勾配ベースの軌道最適化（MPC）およびSVGベースのポリシー学習を適用する。

Figure 1: (Top) Our experimental physical systems. (Bottom) Samples of parametrized versions of these systems (see videos: link ).

実験結果

リサーチクエスチョン

• RQ1 グラフネットワークはデータから、さまざまな物理システムに対して正確な前方ダイナミクスを学習できるか？
• RQ2 ノード数や関節構造が異なるシステム間でGNベースのモデルは一般化できるか？
• RQ3 観測されたダイナミクスから未観測の静的特性をGNベースの推論で識別できるか？
• RQ4 部分観測下でのモデルベース計画とポリシー最適化に対して、GNベースのモデルは有効か？

主な発見

• GNベースの前方モデルは正確な予測を達成し、複数のシステムで学習済みMLPベースラインを上回り、特に反復構造を持つ場合に顕著である。
• 単一のGNモデルは、リンク数や構造が異なるシステムへ一般化でき、未観測構成へのゼロショット一般化を含む。
• GNベースのシステム識別は、短いIDフェーズの後に長い展望の予測を正確に実行でき、部分観測下でも有効である。
• GNベースのMPCとSVGベースの制御は、強力なベースラインに対して競争力のある性能を達成し、部分観測でも動作できる。
• GNの誘導バイアスによるモデル共有は、複数のシステムおよび静的パラメータの変動に対して堅牢な一般化を提供する。

Figure 2: Graph representations and GN-based models. (a) A physical system’s bodies and joints can be represented by a graph’s nodes and edges, respectively. (b) A GN block takes a graph as input and returns a graph with the same structure but different edge, node, and global features as output (see