[論文レビュー] Bounce and Learn: Modeling Scene Dynamics with Real-World Bounces

Senthil Purushwalkam, Abhinav Gupta+2 more|arXiv (Cornell University)|Apr 1, 2019

Human Pose and Action Recognition被引用数 10

ひとこと要約

本稿では、1枚のRGB-D画像と衝突前の軌道データから、跳ね返り後の軌道を予測し、復元係数と有効な衝突法線という物理的性質を推定する2モジュール構成の深層学習モデル、Bounce and Learnを提案する。実世界の跳ね返りを5,000本の動画で構成される新しいデータセットで訓練した本モデルは、シミュレーションによるブートストラップを組み合わせた視覚的・物理的モジュールを統合することで、ニュートン力学のフィッティング手法に比べて、軌道予測および物理的性質の推定において優れた性能を発揮する。

ABSTRACT

We introduce an approach to model surface properties governing bounces in everyday scenes. Our model learns end-to-end, starting from sensor inputs, to predict post-bounce trajectories and infer two underlying physical properties that govern bouncing - restitution and effective collision normals. Our model, Bounce and Learn, comprises two modules -- a Physics Inference Module (PIM) and a Visual Inference Module (VIM). VIM learns to infer physical parameters for locations in a scene given a single still image, while PIM learns to model physical interactions for the prediction task given physical parameters and observed pre-collision 3D trajectories. To achieve our results, we introduce the Bounce Dataset comprising 5K RGB-D videos of bouncing trajectories of a foam ball to probe surfaces of varying shapes and materials in everyday scenes including homes and offices. Our proposed model learns from our collected dataset of real-world bounces and is bootstrapped with additional information from simple physics simulations. We show on our newly collected dataset that our model out-performs baselines, including trajectory fitting with Newtonian physics, in predicting post-bounce trajectories and inferring physical properties of a scene.

研究の動機と目的

• 日常的な環境（住宅やオフィスなど）における実世界の跳ね返りを支配する表面の性質をモデル化すること。
• 1枚の静止画像と衝突前の3次元軌道データから、跳ね返り後の軌道を予測すること。
• 視覚入力から直接、復元係数と有効な衝突法線という2つの重要な物理的性質を推定すること。
• 実世界のデータと物理シミュレーションを統合した学習フレームワークを構築し、一般化性能を向上させること。
• 構造的でない現実世界のシーンにおける跳ね返りダイナミクスの研究のためのベンチマークデータセットを構築すること。

提案手法

• モデルは、1枚のRGB-D画像から復元係数や衝突法線といった物理的パラメータを推定するための視覚的推論モジュール（VIM）を用いる。
• 物理的推論モジュール（PIM）は、推定された物理的パラメータと観測された衝突前の3次元軌道データを用いて、跳ね返り後の軌道を予測する。
• モデルは、発泡スチロールボールが多様な表面で跳ね返る様子を撮影した、新たに収集された5,000本のRGB-D動画データセット上で、エンドツーエンドに訓練される。
• トレーニングプロセスは、一般化性能とデータ効率を向上させるために、単純な物理シミュレーションから得た合成データを用いてブートストラップされる。
• 微分可能な物理ヘッドを用いて、軌道予測と物理的性質の推定を同時に最適化するフレームワークが採用される。
• 3次元再構成を明示的に行わず、RGB-D入力からの幾何的および材料的ヒントを活用して、シーンレベルの物理的性質を推定する。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、1枚のRGB-D画像と衝突前の運動データのみを用いて、跳ね返り後の軌道を正確に予測できるか？
• RQ2 視覚的入力のみを用いて、復元係数や有効な衝突法線といった物理的性質をどの程度正確に推定できるか？
• RQ3 実世界のデータと物理シミュレーションを統合することで、跳ね返り軌道予測の性能がどの程度向上するか？
• RQ4 提案されたエンドツーエンドモデルは、ニュートン力学に基づく古典的軌道フィッティング手法を上回るか？
• RQ5 本モデルは、素材や形状が異なる多様で構造的でない現実世界のシーンに対しても、どの程度一般化可能か？

主な発見

• Bounce and Learnモデルは、収集した実世界データセットにおいて、ニュートン力学のフィッティング手法のベースラインに比べて、より優れた跳ね返り後の軌道予測精度を達成した。
• モデルは、高精度な一貫性を保ちながら、1枚のRGB-D画像から復元係数や有効な衝突法線といった物理的性質を成功裏に推定した。
• トレーニング中に物理シミュレーションを統合することで、未観測の跳ね返りシナリオにおける一般化性能と性能が顕著に向上した。
• 視覚的推論モジュール（VIM）は、トレーニング時に見なかった新しいシーンや素材に対しても、強力なゼロショット一般化性能を示した。
• 物理的推論モジュール（PIM）は、推定された物理的パラメータを用いて、エネルギー損失や回転方向のずれといった複雑な跳ね返りダイナミクスを効果的にモデル化した。
• Bounceデータセットは、日常的な環境における実世界の跳ね返りダイナミクスの学習ベースのモデリングのための新たなベンチマークを可能にした。