[論文レビュー] ComPhy: Compositional Physical Reasoning of Objects and Events from Videos

Zhenfang Chen, Kexin Yi+5 more|arXiv (Cornell University)|May 2, 2022

Multimodal Machine Learning Applications被引用数 14

ひとこと要約

本稿では、物体の相互作用の少ない動画の例示から、質量や電荷などの隠れた物理的性質を推論する必要がある、動画における構成的物理的推論のための新しいベンチマーク ComPhy を紹介する。提案されたオラクル神経記号的フレームワーク、構成的物理学学習者（CPL）は、視覚的認識、グラフニューラルネットワークによる物理的性質の学習、動的予測、記号的推論を統合し、事実的、反事実的、予測的推論タスクにおいて、それぞれ90.4%および90.8%の正確性を達成し、ベースラインを著しく上回った。

ABSTRACT

Objects' motions in nature are governed by complex interactions and their properties. While some properties, such as shape and material, can be identified via the object's visual appearances, others like mass and electric charge are not directly visible. The compositionality between the visible and hidden properties poses unique challenges for AI models to reason from the physical world, whereas humans can effortlessly infer them with limited observations. Existing studies on video reasoning mainly focus on visually observable elements such as object appearance, movement, and contact interaction. In this paper, we take an initial step to highlight the importance of inferring the hidden physical properties not directly observable from visual appearances, by introducing the Compositional Physical Reasoning (ComPhy) dataset. For a given set of objects, ComPhy includes few videos of them moving and interacting under different initial conditions. The model is evaluated based on its capability to unravel the compositional hidden properties, such as mass and charge, and use this knowledge to answer a set of questions posted on one of the videos. Evaluation results of several state-of-the-art video reasoning models on ComPhy show unsatisfactory performance as they fail to capture these hidden properties. We further propose an oracle neural-symbolic framework named Compositional Physics Learner (CPL), combining visual perception, physical property learning, dynamic prediction, and symbolic execution into a unified framework. CPL can effectively identify objects' physical properties from their interactions and predict their dynamics to answer questions.

研究の動機と目的

• 動画の観察では直接見えないが、質量や電荷のような隠れた物理的性質を推論する課題に対処すること。
• 視覚的外観と内在的物理的性質を分離するベンチマークを開発し、少数の動画例示からの構成的推論を要件とする。
• 最先端の動画推論モデルが、隠れた物理的性質を推論し、それを動的予測や質問応答に活用する能力を評価すること。
• 認識、物理的性質の学習、動的予測、記号的実行を統合した、モジュール型の神経記号的フレームワーク（CPL）を提案すること。
• 現在のモデルが構成的物理的推論において限界を示していることの実証と、内在的性質を明示的にモデル化するアーキテクチャの必要性を強調すること。

提案手法

• ComPhy ベンチマークは、メタトレインおよびメタテストセットから構成され、それぞれに4つの参照動画と1つのターゲット動画が含まれており、動画間で物体の物理的性質が一貫している。
• モデルは、視覚的外観および動的軌道を含む物体特徴をノードおよびエッジ表現にエンコードするためのグラフニューラルネットワーク（GNN）を用いる。
• 専用の物理的性質学習（PPL）ヘッドは、教師信号を用いて参照動画内の物体相互作用から内在的性質（質量および電荷）を推定する。
• 動的予測器は、推定された物理的性質と物体相互作用を用いて、将来および反事実的な運動軌道をシミュレートする。
• 質問への回答には、予測された物理的状態および動的状態に基づく論理プログラムの合成を適用する記号的実行が用いられる。
• オラクルモデルである CPL は、物理的性質予測、動的予測、質問応答損失を統合したマルチタスク目的関数に基づいて、エンドツーエンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 最先端の動画推論モデルは、物体相互作用の少数の動画例示からのみ、質量や電荷のような隠れた物理的性質を推論できるか？
• RQ2 視覚的属性（外観、運動）と隠れた物理的性質との間の構成的相互作用が、推論性能にどのように影響するか？
• RQ3 神経記号的フレームワークは、エンドツーエンドモデルと比較して、反事実的および予測的質問の推論をどの程度改善できるか？
• RQ4 グラフベースのアーキテクチャで物理的性質（質量、電荷）を明示的にモデル化することは、長期的な動的予測にどのような影響を及ぼすか？
• RQ5 提案されたフレームワークは、物体数の増加や多様な物理的相互作用を含むより複雑なシーンへどの程度一般化可能か？

主な発見

• 提案された構成的物理学学習者（CPL）は、それぞれ質量および電荷のエッジラベル予測で90.4%および90.8%の正確性を達成し、少数の動画例示からの強力な物理的性質推論を示した。
• 参照動画を用いないターゲット動画のみに依存するベースラインモデルは、質量および電荷予測でそれぞれ59.4%および70.2%の正確性にとどまり、少数ショットの参照学習の重要性を示した。
• CPL は、真値の物理的性質を備えた最先端モデルの変種である NS-DR+ よりも反事実的および予測的推論タスクで著しく優れており、物理的性質の明示的モデル化の価値を裏付けた。
• 6〜8体の物体と混合した物理的相互作用を含むより複雑なシーンでは性能が著しく低下し、現在のモデルが分布外の動的挙動への一般化に限界を示していることがわかった。
• 反事実的推論において、CPL と人間の性能の差は依然として大きく、長期的な動的予測が依然として主要なボトルネックであることが示唆された。
• 真値の物理的性質を用いても、CPT-Gt ベースラインは予測タスクで CPL よりも性能が低く、システム全体の制限要因として動的予測器が重要な役割を果たしていることを示した。