[論文レビュー] Contrastive Learning of Structured World Models

Thomas Kipf, Elise van der Pol+1 more|arXiv (Cornell University)|Nov 27, 2019

Domain Adaptation and Few-Shot Learning参考文献 70被引用数 68

ひとこと要約

C-SWMs は物体ベースの潜在表現と、グラフ構造の遷移モデルを対照学習を介して学習し、構造化された環境における教師なし物体発見と正確な多物体ダイナミクス予測を可能にする。

ABSTRACT

A structured understanding of our world in terms of objects, relations, and hierarchies is an important component of human cognition. Learning such a structured world model from raw sensory data remains a challenge. As a step towards this goal, we introduce Contrastively-trained Structured World Models (C-SWMs). C-SWMs utilize a contrastive approach for representation learning in environments with compositional structure. We structure each state embedding as a set of object representations and their relations, modeled by a graph neural network. This allows objects to be discovered from raw pixel observations without direct supervision as part of the learning process. We evaluate C-SWMs on compositional environments involving multiple interacting objects that can be manipulated independently by an agent, simple Atari games, and a multi-object physics simulation. Our experiments demonstrate that C-SWMs can overcome limitations of models based on pixel reconstruction and outperform typical representatives of this model class in highly structured environments, while learning interpretable object-based representations.

研究の動機と目的

• 構造化され、物体中心のワールドモデルを学習させて一般化と反事実推論を改善する動機づけ。
• 直接的な supervision なしにピクセルから物体を発見する教師なし法を開発する。
• 物体表現と遷移を訓練する対照的なオブジェクトレベルの損失を提案する。
• 物体間の関係と相互作用をモデル化するグラフニューラルネットワークを活用する。
• 構造化された表現が長期的な状態予測と一般化を改善することを示す。

提案手法

• 観測を物体中心の潜在表現の集合へ符号化する二部エンコーダを用いる：CNN ベースのオブジェクト抽出器とMLPベースのオブジェクトエンコーダ。
• グラフニューラルネットワークで物体間の相互作用をモデル化し、潜在状態更新を転写的遷移により予測する（z_t + T(z_t, a_t) ≈ z_{t+1}）。
• 真の状態-作用-状態の三つ組を腐敗したネガティブと区別するオブジェクトレベルのヒンジ対照損失で訓練する（TransE風エネルギーに基づく）。
• 組成的構造を捉え、パラメータ共有を可能にするためにオブジェクト因子化潜在空間 Z = Z_1 × … × Z_K と対応するアクション A = A_1 × … × A_K を採用する。
• 多様な環境での長期前方予測を latent space で評価するリランキング指標（Hits@1, MRR）を用いる。

実験結果

リサーチクエスチョン

• RQ1 C-SWMs は監督なしに raw ピクセル観測から物体を発見できるか？
• RQ2 物体中心の潜在表現と GNN ベースの遷移は多段階の状態予測と組み合わせ一般化を正確に可能にするか？
• RQ3 対照学習は再構成ベースのベースラインと比較して潜在表現と予測精度を改善するか？
• RQ4 物体因子化は未知環境構成への一般化をどう影響するか？

主な発見

• C-SWMs は解釈可能なオブジェクトレベルの表現と正確な遷移予測を学習し、構造化が高度に進んだ環境で再構成ベースのベースラインを上回る。
• グリッドワールドと物理シミュレーションタスクで、C-SWMs は短期・中期の潜在空間予測（1, 5, 10 ステップ）でほぼ完璧に近く、特にオブジェクト因子化表現と GNN 遷移を使用した場合に高い H@1 と MRR を達成する。
• 監督なしでの物体発見が現れ、各オブジェクトの潜在座標が真のオブジェクト位置と密接に一致する（ランダムな線形変換まで）。
• 対照的な損失はピクセル再構成損失よりも unseen 構成への一般化を大幅に改善し、特に複数オブジェクト設定と VAE ベースのデコーダ使用時に効果的。
• オブジェクトスロットの数を増やすと（K）、Atari タスクで検証ベースの調整が必要となる可能性がある。反復的・オブジェクト中心のエンコーディングは頑健性をさらに向上させる可能性。