[論文レビュー] Stochastic Prediction of Multi-Agent Interactions from Partial Observations

Chen Sun, Per Karlsson+3 more|arXiv (Cornell University)|Feb 25, 2019

Human Pose and Action Recognition参考文献 49被引用数 34

ひとこと要約

私たちは Graph-VRNN を提示します。学習されたダイナミクスと部分的な視覚観測を組み合わせて、複数の相互作用するエージェントの現在状態を推定し、将来状態を予測するグラフ構造の変分リカレントニューラルネットワークです。バスケットボールデータセットとサッデータセットでベースラインを上回ります。

ABSTRACT

We present a method that learns to integrate temporal information, from a learned dynamics model, with ambiguous visual information, from a learned vision model, in the context of interacting agents. Our method is based on a graph-structured variational recurrent neural network (Graph-VRNN), which is trained end-to-end to infer the current state of the (partially observed) world, as well as to forecast future states. We show that our method outperforms various baselines on two sports datasets, one based on real basketball trajectories, and one generated by a soccer game engine.

研究の動機と目的

• 相互作用するエージェントの部分観測性の下で、堅牢な状態推定と将来予測を動機づける。
• ダイナミクス priors を視覚的証拠と融合する統一的でエンドツーエンドの判別モデルを開発する。
• グラフ構造の VRNN を活用してエージェント間の相互作用とデータ同定を捉える。
• バスケットボールとサッカーのデータセットで状態推定と予測を改善する。

提案手法

• 各エージェントに対して VRNN を用い、エージェント間ダイナミクスをモデル化するグラフ相互作用ネットワークを使用する。
• 出力を視覚入力に条件づけし、現在の視覚情報と過去の信念をブレンドする注意機構ベースのデコーダを介して行う。
• エージェントごとに識別子を用いてバックボーン特徴を共有し、データ同定を学習する。
• forecasting のために拡張された変分目的関数（ELBO）で学習する。 beta weighting と scheduled sampling を適用する。
• ヒートマップと潜在的十分統計量を組み込んで不確実性を捉え、将来状態の予測を促進する。

実験結果

リサーチクエスチョン

• RQ1 部分観察されたビデオフレームから、グラフ構造の VRNN が現在のマルチエージェント状態を同時に推定し、将来の状態を予測できますか？
• RQ2 確率的潜在ダイナミクスとエージェント間相互作用を組み込むことは、非グラフまたは非確率的なベースラインよりも状態推定と予測を改善しますか？
• RQ3 部分観測性（遮蔽）は、バスケットボールおよびサッカーの設定における追跡精度と予測性能にどのような影響を与えますか？
• RQ4 視覚的証拠と潜在ダイナミクスの注意ベースの融合は、「ピクセルを超えて見る」のに効果的ですか？

主な発見

• Graph-VRNN は、可視エージェントのみに基づくベースライン（Visual only、RNN、VRNN、Indep-RNN、Social-RNN、Graph-RNN など）と比較して、遮蔽されたエージェントの状態推定を改善する。
• 確率的潜在ダイナミクスを導入すると、純粋に決定論的なモデルよりも性能が向上する；グラフベースの相互作用モデリングは単純なプーリングベースの手法よりも優れている。
• バスケットボールデータでは、Graph-VRNN は可視エージェントと隠れエージェントの両方で正規化L2距離を低く抑え、予測損失が時間とともに改善する。
• サッカーデータでは、確率的 Graph-RNN からの予測向上は見られるが、シミュレータの予測可能性のために小さめであり、データセットの特性が確率性の利点に影響を与えることを示している。
• 定性的な結果として、観測フレームとともに信念状態がより確かになり、将来の不確実性下で Graph-VRNN のサンプルが分散化することが示された。