[论文解读] CoPhy: Counterfactual Learning of Physical Dynamics

Fabien Baradel, Natalia Neverova+3 more|arXiv (Cornell University)|Sep 26, 2019

Human Pose and Action Recognition参考文献 50被引用 32

一句话总结

本文提出 CoPhy，一个用于从视觉输入中学习物理动态反事实推理的基准和模型，能够预测在 3D 场景中干预后可能出现的替代物理结果。通过在端到端训练中联合学习潜在混杂因素与动态，且无需混杂因素监督，CoPhyNet 在未见过的物理场景中实现了超人类表现，显著优于前馈视频预测基线模型。

ABSTRACT

Understanding causes and effects in mechanical systems is an essential component of reasoning in the physical world. This work poses a new problem of counterfactual learning of object mechanics from visual input. We develop the CoPhy benchmark to assess the capacity of the state-of-the-art models for causal physical reasoning in a synthetic 3D environment and propose a model for learning the physical dynamics in a counterfactual setting. Having observed a mechanical experiment that involves, for example, a falling tower of blocks, a set of bouncing balls or colliding objects, we learn to predict how its outcome is affected by an arbitrary intervention on its initial conditions, such as displacing one of the objects in the scene. The alternative future is predicted given the altered past and a latent representation of the confounders learned by the model in an end-to-end fashion with no supervision. We compare against feedforward video prediction baselines and show how observing alternative experiences allows the network to capture latent physical properties of the environment, which results in significantly more accurate predictions at the level of super human performance.

研究动机与目标

• 提出一种新的从高维视觉输入中进行物理动态反事实预测的任务，以实现在复杂机械系统中的因果推理。
• 构建 CoPhy 基准——包含三个物理场景（积木塔、弹跳小球、物体碰撞）的 30 万组合成 3D 实验，提供真实混杂因素（质量、摩擦系数、重力）和配对的原始轨迹与干预后轨迹。
• 设计一种神经网络模型，通过从观测到的过去和结果中估计潜在混杂因素，预测反事实未来，从而实现对未见干预和物体类型的鲁棒泛化。
• 证明结合混杂因素估计的反事实推理可显著提升预测准确率，优于标准视频预测基线模型。
• 验证模型在碰撞场景中对未见物体数量和物体形状（如球体与圆柱体）的泛化能力。

提出的方法

• 模型 CoPhyNet 使用图神经网络（GNN）编码物体相互作用，并在反事实设置中预测物理动态，其中物体表征随时间更新。
• 它从观测到的原始序列（A, B）中估计潜在混杂因素（质量、摩擦系数、重力），并利用这些估计值预测在初始状态上施加 do-干预（C = do(X₀ = X̄₀)）后的结果。
• 模型通过仅在最终反事实未来（τ）上进行监督进行端到端训练，不依赖混杂因素值的监督，从而实现自监督的混杂因素学习。
• 通过混杂因素估计值和干预后的初始帧，预测物体稳定性（如积木塔中的稳定性），提升对结构变化的鲁棒性。
• 架构包含一个稳定性头，用于逐时间步预测物体稳定性，消融实验表明其优于单帧稳定性估计方法。
• 消融实验表明，基于物体的稳定性预测和基于 GNN 的消息传递对性能至关重要，而使用 MLP 的聚合方式或单步预测则会降低性能。

实验结果

研究问题

• RQ1 深度学习模型是否能在未显式监督混杂因素的情况下，学习预测干预后的反事实物理结果？
• RQ2 与仅依赖干预后过去（C）的视频预测相比，观测原始结果（B）在多大程度上提升了反事实预测性能？
• RQ3 模型在碰撞动力学中对未见物体数量和物体类型（如球体与圆柱体）的泛化能力如何？
• RQ4 CoPhyNet 中物体的潜在表征是否能在无直接监督的情况下编码真实混杂因素值（质量、摩擦系数）？
• RQ5 模型的混杂因素估计在多大程度上有效支持了复杂场景中物体稳定性和物理行为的准确预测？

主要发现

• CoPhyNet 在 CoPhy 基准的所有场景中均显著优于所有前馈视频预测基线模型，实现了超人类表现。
• 在 BallsCF 场景中，模型能泛化到未见过的球体数量（例如，训练时使用 3 个球，测试时使用 5 个），MSE 显著优于基线模型。
• 在 CollisionCF 场景中，即使训练中未出现过球体与圆柱体的组合，模型也能泛化到新的物体类型，展现出强大的零样本泛化能力。
• 模型的潜在表征能以高精度编码混杂因素值（质量、摩擦系数）：在冻结特征上使用线性分类器，能正确预测绝大多数情况下的质量和摩擦系数，优于随机基线。
• 利用混杂因素估计值和干预后的初始帧进行稳定性预测，优于仅依赖视觉输入的基线模型，证实了非视觉混杂因素信息的价值。
• 对混杂因素估计进行监督可带来小幅性能提升（例如，K=3 时 MSE 提升 0.004），表明模型在无显式监督的情况下也能学习到有意义的混杂因素表征。