[论文解读] Physion: Evaluating Physical Prediction from Vision in Humans and Machines

Daniel M. Bear, Elias Wang+13 more|arXiv (Cornell University)|Jun 15, 2021

Anomaly Detection Techniques and Applications被引用 15

一句话总结

Physion 引入了一个全面的基准数据集和评估框架，用于评估人类和机器在视觉基础上的物理预测能力。通过结合多样化物理现象的真实3D模拟与人类行为的直接对比，研究发现尽管以物体为中心的模型优于非物体为中心的模型，但能够访问物理状态信息的图神经网络显著超越两者，并更接近人类的推理方式，凸显表征学习是人工智能实现人类水平物理理解的关键瓶颈。

ABSTRACT

While current vision algorithms excel at many challenging tasks, it is unclear how well they understand the physical dynamics of real-world environments. Here we introduce Physion, a dataset and benchmark for rigorously evaluating the ability to predict how physical scenarios will evolve over time. Our dataset features realistic simulations of a wide range of physical phenomena, including rigid and soft-body collisions, stable multi-object configurations, rolling, sliding, and projectile motion, thus providing a more comprehensive challenge than previous benchmarks. We used Physion to benchmark a suite of models varying in their architecture, learning objective, input-output structure, and training data. In parallel, we obtained precise measurements of human prediction behavior on the same set of scenarios, allowing us to directly evaluate how well any model could approximate human behavior. We found that vision algorithms that learn object-centric representations generally outperform those that do not, yet still fall far short of human performance. On the other hand, graph neural networks with direct access to physical state information both perform substantially better and make predictions that are more similar to those made by humans. These results suggest that extracting physical representations of scenes is the main bottleneck to achieving human-level and human-like physical understanding in vision algorithms. We have publicly released all data and code to facilitate the use of Physion to benchmark additional models in a fully reproducible manner, enabling systematic evaluation of progress towards vision algorithms that understand physical environments as robustly as people do.

研究动机与目标

• 建立一个统一、严格的基准，用于评估视觉模型在多样化、真实物理场景中的物理理解能力。
• 直接将模型预测与人类在相同刺激下的行为数据进行对比，从而评估物理推理中的人类相似度。
• 探究以物体为中心的表征方式与物理状态信息的访问，哪一种更能促进准确且类人的物理预测。
• 提供一个公开可获取、可复现的基准，用于系统性评估人工智能在迈向人类水平物理理解方面的进展。

提出的方法

• Physion 基准使用高保真度的3D模拟，涵盖多样化物理现象，包括刚体与软体碰撞、滚动、滑动及抛体运动。
• 数据集包含150个刺激，分布在10种不同的物理情景中，每种情景包含多个试验及随机化的场景配置。
• 人类参与者在相同刺激上进行测试，以收集关于物理结果的精确、逐次试验的预测数据。
• 一系列视觉模型——从以物体为中心的架构到图神经网络——在相同基准上使用相同的输入和评估协议进行评估。
• 通过绝对准确率以及与人类的相关性与Cohen’s kappa度量来评估模型性能，衡量其与人类响应模式的相似性。
• 统计分析包括对人类准确率的自举法置信区间，以及用于建模人类在不同情景和属性下准确率的混合效应逻辑回归。

实验结果

研究问题

• RQ1 视觉模型在多样化、真实感强的3D场景中预测物理结果的表现，与人类表现相比如何？
• RQ2 以物体为中心的表征方式相较于非物体为中心的模型，在物理预测方面能提升多少？
• RQ3 直接访问物理状态信息在多大程度上影响模型性能及其在物理推理中的人类相似度？
• RQ4 模型的预测模式与人类有多相似？哪些模型架构最能逼近人类响应的一致性？
• RQ5 哪些物理刺激属性对人类在物理预测任务中的准确率影响最大？

主要发现

• 学习以物体为中心表征的视觉模型优于非物体为中心的模型，但仍显著落后于人类表现。
• 能够访问物理状态信息的图神经网络在准确率上显著高于所有其他模型类型。
• 访问物理状态信息的模型产生的预测模式与人类响应的相似度显著高于其他模型，相关性与Cohen’s kappa度量均显示显著差异。
• 人类表现明显受刺激属性（如物体数量和复杂度）的影响，且这些因素在统计上显著预测人类准确率。
• 所有情景下的人均准确率为85.3%，95%置信区间为[83.1%, 87.5%]，且无任何模型达到此水平的性能。
• 通过平均Cohen’s kappa度量的模型-人类一致性最高的是图神经网络（0.72），接近人类-人类一致性（0.78），表明其在响应模式上具有高度一致性。