[論文レビュー] Flexible Neural Representation for Physics Prediction

Damian Mrowca, Chengxu Zhuang+5 more|arXiv (Cornell University)|Jun 21, 2018

Human Pose and Action Recognition参考文献 46被引用数 86

ひとこと要約

本論文は階層的粒子グラフを用いた Hierarchical Relation Network (HRN) を導入し、剛体および変形可能な objects を含む複雑な物理を予測する。長い時間スケールで妥当なダイナミクスを実現し、訓練シナリオを超えた強い一般化を示す。

ABSTRACT

Humans have a remarkable capacity to understand the physical dynamics of objects in their environment, flexibly capturing complex structures and interactions at multiple levels of detail. Inspired by this ability, we propose a hierarchical particle-based object representation that covers a wide variety of types of three-dimensional objects, including both arbitrary rigid geometrical shapes and deformable materials. We then describe the Hierarchical Relation Network (HRN), an end-to-end differentiable neural network based on hierarchical graph convolution, that learns to predict physical dynamics in this representation. Compared to other neural network baselines, the HRN accurately handles complex collisions and nonrigid deformations, generating plausible dynamics predictions at long time scales in novel settings, and scaling to large scene configurations. These results demonstrate an architecture with the potential to form the basis of next-generation physics predictors for use in computer vision, robotics, and quantitative cognitive science.

研究の動機と目的

• 任意の剛体および非剛体材料を捉えられる柔軟な、物体中心の表現を動機づける。
• 複雑な多-objectシーン全体の物理ダイナミクスを予測するためのスケーラブルなニューラルアーキテクチャを開発する。
• 未見の形状や相互作用への長期的な予測と一般化を可能にする。
• 学習された材料特性と階層的推論を取り入れて、ベースラインより精度を向上させる。

提案手法

• 各物体を、形状と材料のばらつきを捉える階層グラフを形成する一連の粒子として表現する。
• 効果を効率的に伝搬させるために、3段階の階層グラフ畳み込み（Leaves-to-Ancestors、Within-Siblings、Ancestors-to-Descendants）を用いる。
• 外力(phi_F)、衝突(phi_C)、履歴(phi_H)の別々のニューラルモジュールを用い、それに階層伝搬(eta)と状態予測器(psi)を続ける。
• 局所的（粒子ごと）、グローバル（全体の物体）、および距離保持項を組み合わせた複合損失で訓練し、物理的制約を課す。
• パーティクルベースの環境（NVIDIA FleX in Unity3D）で訓練データを生成し、ハードコードされた物理よりデータから材料関係を学習する。

実験結果

リサーチクエスチョン

• RQ1 剛体、軟体、および変形可能な物体を含むシーンで、複雑な衝突を含む将来の状態を HRN は予測できるか？
• RQ2 階層グラフ構造は、フラットなグラフやMLPベースの手法と比べて精度とスケーラビリティを改善するか？
• RQ3 HRN は未知の形状、材料、および複数物体の相互作用にどの程度一般化できるか？
• RQ4 局所/グローバル/保存の損失成分と多段入力が予測精度に与える影響は何か？

主な発見

• HRN は複雑な衝突と非剛体変形を正確に扱い、妥当な長期的ダイナミクスを生成する。
• 階層表現と3段階伝搬は、MLP、全結合グラフ、および階層的でないモデルを含むベースラインを上回る。
• アブレーションにより、階層性、別々のモジュール、および保存/グローバル損失が予測品質にとって重要であることが示された。
• HRN は未知の形状、材料、および塔状・ドミノのような設定を含む複数物体のシナリオに一般化する。