[論文レビュー] Neural Relational Inference for Interacting Systems

Thomas Kipf, Ethan Fetaya+3 more|arXiv (Cornell University)|Feb 13, 2018

Human Pose and Action Recognition参考文献 45被引用数 255

ひとこと要約

教師なしの変分オートエンコーダが、潜在的な相互作用グラフを同時に推定し、グラフニューラルネットワークを介してダイナミクスを学習することで、解釈可能なエッジタイプと実世界とシミュレーションの相互作用システムに対する正確な未来状態予測を実現する。

ABSTRACT

Interacting systems are prevalent in nature, from dynamical systems in physics to complex societal dynamics. The interplay of components can give rise to complex behavior, which can often be explained using a simple model of the system's constituent parts. In this work, we introduce the neural relational inference (NRI) model: an unsupervised model that learns to infer interactions while simultaneously learning the dynamics purely from observational data. Our model takes the form of a variational auto-encoder, in which the latent code represents the underlying interaction graph and the reconstruction is based on graph neural networks. In experiments on simulated physical systems, we show that our NRI model can accurately recover ground-truth interactions in an unsupervised manner. We further demonstrate that we can find an interpretable structure and predict complex dynamics in real motion capture and sports tracking data.

研究の動機と目的

• 軌跡から、手動のエッジ注釈なしに基盤となる相互作用を学習する動機付け。
• エッジ種別の相互作用とシステムダイナミクスを同時に学習するニューラルリレーショナル推論（NRI）モデルを提案。
• 確率的グラフデコーダを介して相互作用を表す解釈可能な離散エッジタイプを有効にする。
• シミュレーテッド物理、モーションキャプチャ、スポーツデータで、教師なしで真の相互作用を回復し、長時間先読み予測の正確性を示す。

提案手法

• 観測された軌道を完全連結グラフ上のGNNでエンコードし、エッジタイプ分布 q_phi(z_ij|x) を推定する。
• 離散潜在グラフ（エッジタイプ）をワンホットベクトルとして表現し、再パラメータ化のための連続緩和（コンクリート分布）を用いる。
• 推定されたグラフ z に条件づけられたGNNベースのデコーダで未来の軌道をデコードし、異なる相互作用をモデル化するためにエッジタイプ別デコーダを用いる。
• 再構成項 E_{q_phi(z|x)}[log p_theta(x|z)] と KL項 KL[q_phi(z|x)||p_theta(z)] を組み合わせた変分目的関数（ELBO）で学習。
• 複数の未来ステップを予測し、エッジタイプごとのデコーダを用いてエッジタイプへの依存性を強制することで、退化デコーディングを緩和する。

実験結果

リサーチクエスチョン

• RQ1 教師なしで軌道から潜在的な相互作用グラフを推定できるか？
• RQ2 推定されたエッジタイプは物理シミュレーションの真の相互作用とどれくらい対応するか？
• RQ3 エッジタイプを考慮したデコーダは、全結合モデルや非リレーショナルな基線より長期的な予測精度を改善するか？
• RQ4 モーションキャプチャやスポーツ追跡のような実世界データに対してアプローチは頑健で、解釈可能な相互作用構造を生み出すか？

主な発見

• NRIモデルは教師なしの物理システム実験で真の相互作用グラフを正確に回復する。
• NRIは、モーションキャプチャおよびスポーツデータで長期的なダイナミクス予測を正確に可能にする少数のエッジタイプを学習する。
• 潜在グラフの動的再評価は、実データのモーションキャプチャで予測性能を向上させる。
• エッジタイプ特異デコーダと多ステップ予測は、退化デコーディングを緩和し、相互作用の学習を強化する。
• 複数のシミュレーションタスクで、NRIが学習したグラフは、相互作用回復と予測の点で、監視あり・ゴールドスタンダードのベースラインに近づく、あるいは同等となる。