[论文解读] A Comparative Evaluation of Approximate Probabilistic Simulation and Deep Neural Networks as Accounts of Human Physical Scene Understanding

Renqiao Zhang, Jiajun Wu+3 more|arXiv (Cornell University)|May 4, 2016

Explainable Artificial Intelligence (XAI)参考文献 21被引用 27

一句话总结

本文比较了近似概率模拟（直觉物理引擎，IPE）与深度卷积神经网络（CNN）作为人类物理场景理解的模型。尽管两者在稳定性预测任务中均达到高准确率，但仅IPE能有效泛化至新配置，并复现人类类似的判断不对称性与系统性知觉错觉。

ABSTRACT

Humans demonstrate remarkable abilities to predict physical events in complex scenes. Two classes of models for physical scene understanding have recently been proposed: "Intuitive Physics Engines", or IPEs, which posit that people make predictions by running approximate probabilistic simulations in causal mental models similar in nature to video-game physics engines, and memory-based models, which make judgments based on analogies to stored experiences of previously encountered scenes and physical outcomes. Versions of the latter have recently been instantiated in convolutional neural network (CNN) architectures. Here we report four experiments that, to our knowledge, are the first rigorous comparisons of simulation-based and CNN-based models, where both approaches are concretely instantiated in algorithms that can run on raw image inputs and produce as outputs physical judgments such as whether a stack of blocks will fall. Both approaches can achieve super-human accuracy levels and can quantitatively predict human judgments to a similar degree, but only the simulation-based models generalize to novel situations in ways that people do, and are qualitatively consistent with systematic perceptual illusions and judgment asymmetries that people show.

研究动机与目标

• 严格比较基于模拟（IPE）与基于记忆（CNN）的模型在解释人类物理场景理解方面的表现。
• 评估深度神经网络是否能解释人类在直觉物理推理中的泛化与判断模式。
• 研究CNN在物理场景中小型结构变化间知识迁移的局限性。
• 评估IPE是否更准确捕捉人类感知现象的定性特征，如判断不对称性与系统性错误。
• 确定当前CNN架构是否反映人类物理直觉背后的因果心理模型。

提出的方法

• 实现了一个具体的IPE模型，通过牛顿力学与噪声建模不确定性，执行对积木动态的近似概率模拟。
• 在包含标签稳定性结果的积木堆合成数据集上训练多种CNN架构（LeNet、AlexNet）。
• 使用预训练ImageNet权重（P）并在合成积木场景上微调，以提升泛化能力。
• 在不同积木数量（3、4、5个）的迁移学习任务上评估模型，测试其在训练分布之外的泛化能力。
• 收集人类对相同刺激的判断，以对比模型表现与人类直觉。
• 通过稳定性预测的准确率及与人类响应的相关性来量化模型性能。

实验结果

研究问题

• RQ1 深度神经网络能否在仅从静态图像中预测物理稳定性方面达到人类水平的准确率？
• RQ2 CNN是否能以类似于人类的方式泛化至新型物理配置（如不同数量的积木）？
• RQ3 CNN是否能复现人类在物理推理中的系统性知觉错觉与判断不对称性？
• RQ4 IPE模型是否比前馈神经网络更好地捕捉人类物理直觉的定性结构？
• RQ5 IPE能否在无需微调的情况下解释不同场景复杂度下的人类表现？

主要发现

• 当在20万张图像上训练时，CNN在四块积木稳定性任务中达到超人类准确率（约89–95%）。
• 在三块与五块积木配置中，仅用四块积木数据训练的CNN表现接近随机猜测水平（约50%），表明零样本泛化能力差。
• 即使使用ImageNet预训练，AlexNet在未见积木数量（3或5块）上的表现依然较低（例如，3块时为51.0%，5块时为78.5%），表明其迁移能力有限。
• IPE模型在不同积木数量间表现出更自然的泛化，性能随复杂度增加而渐进下降，与人类趋势一致。
• 人类平均准确率（68.0%）在不同配置间更稳定，且与IPE预测更一致。
• 仅IPE模型捕捉到了系统性的人类类似判断不对称性与知觉错觉，如对结构复杂性与不稳定性线索的敏感性。