[论文解读] Learning Visual Predictive Models of Physics for Playing Billiards

Katerina Fragkiadaki, Pulkit Agrawal+2 more|arXiv (Cornell University)|Nov 23, 2015

Generative Adversarial Networks and Image Synthesis参考文献 27被引用 113

一句话总结

该论文提出了一种以物体为中心的视觉预测模型，能够从原始视觉输入中学习物理动力学，使智能体能够通过内部模拟（'视觉想象'）进行动作规划。通过使用聚焦的视觉瞥见来建模单个物体的轨迹，该方法实现了平移不变的动力学预测，并在无需任务特定监督的情况下，在台球动作规划中优于基于帧的基线模型，在25像素范围内命中目标位置的准确率达到56%。

ABSTRACT

The ability to plan and execute goal specific actions in varied, unexpected settings is a central requirement of intelligent agents. In this paper, we explore how an agent can be equipped with an internal model of the dynamics of the external world, and how it can use this model to plan novel actions by running multiple internal simulations ("visual imagination"). Our models directly process raw visual input, and use a novel object-centric prediction formulation based on visual glimpses centered on objects (fixations) to enforce translational invariance of the learned physical laws. The agent gathers training data through random interaction with a collection of different environments, and the resulting model can then be used to plan goal-directed actions in novel environments that the agent has not seen before. We demonstrate that our agent can accurately plan actions for playing a simulated billiards game, which requires pushing a ball into a target position or into collision with another ball.

研究动机与目标

• 在无需任务特定监督的情况下，使智能体能够在新颖的、此前未见过的环境中规划目标导向的动作。
• 直接从原始视觉输入中学习外部世界的一般化动力学模型，以处理组合性物体结构和几何变化。
• 通过从以物体为中心的视觉瞥见建模物体动力学，利用物理定律中的平移不变性。
• 通过视觉想象——对动作结果进行内部模拟——实现在复杂物理环境中的有效规划。
• 仅使用自监督的交互数据，证明模型在未见环境和任务中的泛化能力。

提出的方法

• 该方法采用以物体为中心（OC）的预测，即每个物体的未来状态均从聚焦于该物体的视觉瞥见中独立建模，从而强制实现平移不变性。
• 采用带有视觉编码器的循环神经网络（LSTM），以在时间步之间保持物体轨迹的长期记忆。
• 模型在20步的时间范围内预测每个球的未来速度，进而重构完整的未来世界状态。
• 通过视觉想象进行动作规划：在内部运行多个模拟的动作序列，以选择使球最接近目标的力。
• 系统通过与多样化台球环境的随机交互进行训练，学习动力学而无需显式奖励或目标监督。
• 采用CMA-ES优化方法高效搜索最优力，避免穷举搜索。

实验结果

研究问题

• RQ1 在原始图像上进行训练的视觉预测模型是否能够学习到可泛化的物理动力学，并推广到未见过的环境中？
• RQ2 与基于帧的模型相比，采用视觉瞥见的以物体为中心的方法在多大程度上能强制实现物理定律中的平移不变性？
• RQ3 基于学习到的动力学的视觉想象是否能够有效支持复杂任务（如击中移动的目标球）的规划？
• RQ4 此类模型在多大程度上可以不依赖任何目标特定的监督或真实奖励信号即可完成规划？
• RQ5 在高视觉模糊性条件下（例如瞥见中仅包含单个物体），该模型在长时域预测中的表现如何？

主要发现

• 以物体为中心（OC）模型在将球击中目标位置25像素范围内的命中准确率达到56%，显著优于基于帧（FC）模型的39%。
• OC模型在目标位置50像素范围内的预测准确率达到85%，而FC模型为60%。
• 得益于LSTM中的长期记忆，该模型即使在视觉瞥见大多不具信息量的情况下，也能成功预测复杂大环境中的球轨迹。
• 若无LSTM，模型会产生非物理运动（包括方向反转），证明循环记忆对稳定动力学预测的必要性。
• 该系统可泛化到训练期间未见过的新环境，并在无需任何目标特定监督的情况下实现准确的动作规划。
• 通过内部模拟实现的视觉想象，有效支持了静态和动态目标任务的力选择，其效果经与真实物理模拟器对比验证。