[论文解读] IntPhys: A Framework and Benchmark for Visual Intuitive Physics Reasoning

Ronan Riochet, Mario Ynocente Castro+5 more|arXiv (Cornell University)|Mar 20, 2018

Human Pose and Action Recognition参考文献 42被引用 34

一句话总结

IntPhys 2019 通过要求模型对可能与不可能的视频事件进行合理性评分，引入了一个用于评估人工智能系统视觉直觉物理推理能力的基准测试。该框架使用游戏引擎生成的合成视频剪辑，两个仅在可能的视频上进行训练的深度学习模型在检测物理不可能性方面表现出高于随机水平的性能，尤其是在存在遮挡的情况下，凸显了基于抽象掩码的表征相较于像素级预测的优势。

ABSTRACT

In order to reach human performance on complexvisual tasks, artificial systems need to incorporate a sig-nificant amount of understanding of the world in termsof macroscopic objects, movements, forces, etc. Inspiredby work on intuitive physics in infants, we propose anevaluation benchmark which diagnoses how much a givensystem understands about physics by testing whether itcan tell apart well matched videos of possible versusimpossible events constructed with a game engine. Thetest requires systems to compute a physical plausibilityscore over an entire video. It is free of bias and cantest a range of basic physical reasoning concepts. Wethen describe two Deep Neural Networks systems aimedat learning intuitive physics in an unsupervised way,using only physically possible videos. The systems aretrained with a future semantic mask prediction objectiveand tested on the possible versus impossible discrimi-nation task. The analysis of their results compared tohuman data gives novel insights in the potentials andlimitations of next frame prediction architectures.

研究动机与目标

• 开发一个与任务和模型无关的基准，用于评估人工视觉系统中的直觉物理理解能力。
• 诊断通过无监督学习，人工智能模型在多大程度上学习了物体恒存性、连续性以及动量守恒等物理原理。
• 将仅在物理上可能的视频上训练的深度学习模型与人类基线在标准化的合理性判别任务上的表现进行比较。
• 研究基于抽象、以物体为中心的表征（如语义掩码）是否相比像素级预测，能提升对物理不可能性的泛化能力。
• 探索将发展心理学范式（如预期违背）适配为机器学习评估框架的可行性。

提出的方法

• 该基准构建了匹配的视频四联组：两段可能的事件和两段不可能的事件，二者仅在单一物理违反点上不同（例如物体消失、运动不连续）。
• 由系统对每个视频进行评分，生成合理性得分，得分越低表示越可能为物理不可能性。
• 使用无监督未来语义掩码预测目标，在仅包含物理上可能的视频上训练两个深度神经网络模型。
• 评估模型在区分可能与不可能剪辑方面的能力，性能通过分类准确率和AUC衡量。
• 该评估受婴儿认知中预期违背（VOE）范式的启发，即出乎意料的事件会引发更高的注意力。
• 该基准控制了视觉复杂度、物体数量和遮挡因素，从而实现对模型鲁棒性的系统性分析。

实验结果

研究问题

• RQ1 仅在物理上可能的视频上进行训练的人工智能系统，能否学会在新测试视频中检测到细微的物理不可能性？
• RQ2 与基于像素级重建训练的模型相比，基于语义掩码预测训练的模型在直觉物理推理方面表现如何？
• RQ3 遮挡和物体数量在多大程度上影响模型与人类检测物理违反的能力？
• RQ4 与基于原始像素的预测相比，使用抽象的、以物体为中心的表征是否能提升对未见物理情景的泛化能力？
• RQ5 基于预期违背范式的基准是否能有效衡量人工系统中的直觉物理理解能力？

主要发现

• 人类参与者在 IntPhys 2019 基准测试中表现出极低的错误率，遮挡会降低其表现，但物体数量增加不会造成显著影响，与物体追踪的认知限制一致。
• 语义掩码预测模型在检测物理不可能性方面优于像素级模型，表明抽象表征在直觉物理推理中更为有效。
• 基于掩码的模型在合理性判别任务中达到高于随机水平的性能，证明其能从仅包含可能视频的训练中成功泛化。
• 遮挡显著降低了模型性能，表明部分可观测性仍是物理推理系统面临的关键挑战。
• 结果表明，通过未来掩码预测进行无监督学习，可使模型捕捉到物体连续性和动量守恒等核心物理原理。
• 该基准表明，当前的深度学习模型在处理复杂或遮挡场景时，仍远未达到人类水平的直觉物理理解能力。