[论文解读] ComPhy: Compositional Physical Reasoning of Objects and Events from Videos

Zhenfang Chen, Kexin Yi+5 more|arXiv (Cornell University)|May 2, 2022

Multimodal Machine Learning Applications被引用 14

一句话总结

该论文提出了ComPhy，一个用于视频中组合性物理推理的新基准，要求模型从少量物体相互作用的视频演示中推断隐藏的物理属性（如质量与电荷）。所提出的oracle神经符号框架Compositional Physics Learner（CPL）整合了视觉感知、基于图神经网络的物理属性学习、动态预测与符号推理，实现了90.4%和90.8%的准确率，分别用于质量与电荷标签的预测，在事实性、反事实性及预测性推理任务上显著优于基线模型。

ABSTRACT

Objects' motions in nature are governed by complex interactions and their properties. While some properties, such as shape and material, can be identified via the object's visual appearances, others like mass and electric charge are not directly visible. The compositionality between the visible and hidden properties poses unique challenges for AI models to reason from the physical world, whereas humans can effortlessly infer them with limited observations. Existing studies on video reasoning mainly focus on visually observable elements such as object appearance, movement, and contact interaction. In this paper, we take an initial step to highlight the importance of inferring the hidden physical properties not directly observable from visual appearances, by introducing the Compositional Physical Reasoning (ComPhy) dataset. For a given set of objects, ComPhy includes few videos of them moving and interacting under different initial conditions. The model is evaluated based on its capability to unravel the compositional hidden properties, such as mass and charge, and use this knowledge to answer a set of questions posted on one of the videos. Evaluation results of several state-of-the-art video reasoning models on ComPhy show unsatisfactory performance as they fail to capture these hidden properties. We further propose an oracle neural-symbolic framework named Compositional Physics Learner (CPL), combining visual perception, physical property learning, dynamic prediction, and symbolic execution into a unified framework. CPL can effectively identify objects' physical properties from their interactions and predict their dynamics to answer questions.

研究动机与目标

• 为解决从视频观测中推断隐藏物理属性（如质量与电荷）的挑战。
• 开发一个基准，将视觉外观与内在物理属性解耦，要求模型从少量视频演示中进行组合性推理。
• 评估最先进视频推理模型在推断和利用隐藏物理属性以进行动态预测与问题回答方面的能力。
• 提出一种模块化神经符号框架（CPL），整合感知、物理属性学习、动态预测与符号执行，以提升物理推理能力。
• 展示现有模型在组合性物理推理方面的局限性，并强调显式建模内在属性的架构的必要性。

提出的方法

• ComPhy基准包含元训练集与元测试集，每组包含4个参考视频与1个目标视频，且物体在视频间保持一致的物理属性。
• 模型使用图神经网络（GNN）将物体特征（包括视觉外观与动态轨迹）编码为节点与边表示。
• 专门设计的物理属性学习（PPL）头利用监督信号，从参考视频中的物体相互作用中推断内在属性（质量与电荷）。
• 动态预测器利用推断出的物理属性与物体相互作用，模拟未来与反事实的运动轨迹。
• 符号执行通过在预测的物理状态与动态上组合逻辑程序来回答问题。
• oracle模型CPL通过联合物理属性预测、动态预测与问题回答损失的多任务目标进行端到端训练。

实验结果

研究问题

• RQ1 最先进视频推理模型能否仅从少量物体相互作用的视频演示中推断出质量与电荷等隐藏物理属性？
• RQ2 可见属性（外观、运动）与隐藏物理属性之间的组合性相互作用如何影响推理性能？
• RQ3 与端到端模型相比，神经符号框架在反事实与预测性问题上的推理能力能提升多少？
• RQ4 在基于图的架构中显式建模物理属性（质量、电荷）对长期动态预测有何影响？
• RQ5 所提出的框架在物体数量更多、物理相互作用更复杂的场景中具有多大程度的泛化能力？

主要发现

• 所提出的组合性物理学习者（CPL）在预测质量与电荷边标签方面分别达到90.4%与90.8%的准确率，证明了从少量视频样本中实现强大物理属性推断的能力。
• 仅依赖目标视频（无参考视频）的基线模型在质量与电荷预测上的准确率仅为59.4%与70.2%，凸显了少样本参考学习的重要性。
• CPL在反事实与预测性推理任务上显著优于NS-DR+（一种最先进模型的变体，使用真实物理属性），证明了显式物理属性建模的价值。
• 在包含6–8个物体及混合物理相互作用的更复杂场景中，性能显著下降，表明当前模型在分布外动态下的泛化能力有限。
• CPL与人类表现之间的差距仍然较大，尤其是在反事实推理方面，表明长期动态预测仍是主要瓶颈。
• 即使在使用真实物理属性的情况下，CPT-Gt基线在预测任务上仍逊于CPL，表明动态预测器是系统中的关键限制因素。