[論文レビュー] Occlusion resistant learning of intuitive physics from videos

Ronan Riochet, Josef Šivic+2 more|arXiv (Cornell University)|Apr 30, 2020

Human Pose and Action Recognition参考文献 42被引用数 7

ひとこと要約

本論文は、3次元オブジェクト状態を潜在変数としてモデル化し、再帰的相互作用ネットワークと微分可能で構成的なレンダラーを組み合わせることで、顕著なオブジェクト間遮蔽を伴う動画からの直感的物理学の学習を確率的かつ構成的フレームワークとして提案する。この手法はIntPhysベンチマークで最先端の性能を達成し、ノイズの多いオブジェクト検出器を用いた現実世界の動画においても、最大30フレーム先の正確なセグメンテーションマスクを予測できる。

ABSTRACT

To reach human performance on complex tasks, a key ability for artificial systems is to understand physical interactions between objects, and predict future outcomes of a situation. This ability, often referred to as intuitive physics, has recently received attention and several methods were proposed to learn these physical rules from video sequences. Yet, most of these methods are restricted to the case where no, or only limited, occlusions occur. In this work we propose a probabilistic formulation of learning intuitive physics in 3D scenes with significant inter-object occlusions. In our formulation, object positions are modeled as latent variables enabling the reconstruction of the scene. We then propose a series of approximations that make this problem tractable. Object proposals are linked across frames using a combination of a recurrent interaction network, modeling the physics in object space, and a compositional renderer, modeling the way in which objects project onto pixel space. We demonstrate significant improvements over state-of-the-art in the intuitive physics benchmark of IntPhys. We apply our method to a second dataset with increasing levels of occlusions, showing it realistically predicts segmentation masks up to 30 frames in the future. Finally, we also show results on predicting motion of objects in real videos.

研究の動機と目的

• 顕著なオブジェクト間遮蔽が生じる3次元シーンにおいて、一般化可能な直感的物理学の学習手法を開発すること。
• 部分的または完全な遮蔽が生じる状況下でも、オブジェクトの動的挙動とセグメンテーションマスクの正確な長期予測を可能にすること。
• トレーニング中に真値のフレーム間対応情報や正確な3次元アノテーションを必要としないモデルの訓練を可能にすること。
• 事前学習済みのオブジェクト検出器からのノイズの多い出力のみを用いて、現実世界の動画へ一般化できること。
• 遮蔽によって生じる欠損データに対してもロバストでありながら、予測の物理的妥当性を維持できること。

提案手法

• オブジェクトの位置と速度を潜在変数としてモデル化し、遮蔽下でもシーンを再構築する。
• 再帰的相互作用ネットワークを用いてオブジェクト空間における物理的ダイナミクスをモデル化し、時間的整合性を確保する。
• 微分可能な構成的レンダラーを用いて3次元オブジェクト状態を2次元ピクセル空間に投影し、観測されたフレームと一致させる。
• 物理的ダイナミクスとレンダリングの損失を統合的に最適化することで、最も可能性の高いオブジェクト軌道を推定する。
• 事前学習済みのマスク検出器からのオブジェクト提案を用いて、真値のセグメンテーションがなくてもシーン状態を初期化する。
• 確率的推論問題を扱えるように近似を適用し、エンドツーエンドのトレーニングを可能にする。

実験結果

リサーチクエスチョン

• RQ1 オブジェクトの位置が観測不能な状況下でも、顕著なオブジェクト間遮蔽が生じる3次元シーンでモデルが物理的ダイナミクスを学習できるか？
• RQ2 トレーニング時に遮蔽を含めることで、モデルの将来のオブジェクト状態予測能力にどのような影響が生じるか？
• RQ3 真値のセグメンテーションが一切ない状況で、ノイズの多いオブジェクト検出器の出力のみを用いて、現実世界の動画に一般化可能か？
• RQ4 完全な3次元デカルト座標ではなく、2.5次元の射影表現（例：xy + 深さ）を用いることで予測性能が低下するか？
• RQ5 モデルの構成的構造が、変動するオブジェクト数や長時間予測に対し、どの程度有効に機能するか？

主な発見

• 本モデルはIntPhysベンチマークで最先端の性能を達成し、Riochetら（2018）やSmithら（2019）の先行手法を上回っている。
• 遮蔽レベルが上昇する合成データセットにおいても、最大30フレーム先のセグメンテーションマスクを高い精度で予測できる。
• 合成の上位視点PyBullet動画でのみ学習させたモデルでも、微調整なしに現実世界のKinect2記録（色付きのボールやブロック）に一般化可能である。
• 完全な3次元デカルト座標ではなく、2.5次元の射影参照（xy + 深さ）を用いても、同等の性能を維持している。これは、射影幾何学的表現が根本的な障害ではないことを示している。
• アブレーションスタディにより、物理的ダイナミクス損失とレンダリング損失の両方が性能向上に顕著に寄与していることが確認された。
• ノイズの多いマスク検出器の出力に対しても本手法は効果的に機能し、真値のセグメンテーションが不要なエンドツーエンドの現実動画学習への第一歩を示している。