[论文解读] Learning to Perform Physics Experiments via Deep Reinforcement Learning

Misha Denil, Pulkit Agrawal+4 more|arXiv (Cornell University)|Nov 6, 2016

Reinforcement Learning in Robotics参考文献 32被引用 55

一句话总结

该论文表明，深度强化学习智能体能够在模拟环境中通过执行物理实验（如推动或敲倒物体）来推断隐藏的物理属性（如质量与物体数量）。智能体通过发展出成本意识的自适应策略，在信息获取与交互成本之间取得平衡，从而超越随机策略的表现。

ABSTRACT

When encountering novel objects, humans are able to infer a wide range of physical properties such as mass, friction and deformability by interacting with them in a goal driven way. This process of active interaction is in the same spirit as a scientist performing experiments to discover hidden facts. Recent advances in artificial intelligence have yielded machines that can achieve superhuman performance in Go, Atari, natural language processing, and complex control problems; however, it is not clear that these systems can rival the scientific intuition of even a young child. In this work we introduce a basic set of tasks that require agents to estimate properties such as mass and cohesion of objects in an interactive simulated environment where they can manipulate the objects and observe the consequences. We found that state of art deep reinforcement learning methods can learn to perform the experiments necessary to discover such hidden properties. By systematically manipulating the problem difficulty and the cost incurred by the agent for performing experiments, we found that agents learn different strategies that balance the cost of gathering information against the cost of making mistakes in different situations.

研究动机与目标

• 探究人工智能智能体是否能够学会通过执行物理实验来推断隐藏的物理属性（如质量与黏聚力）。
• 探讨智能体在收集物理属性信息时，如何在交互成本与出错风险之间进行权衡。
• 从准确性和效率角度，比较学习到的实验策略与随机基线策略在推断物理属性方面的表现。
• 评估智能体是否能够发展出自适应的闭环策略，以响应实验过程中动态的环境反馈。
• 考察通过主动交互（而非被动观察）来学习物理表征在人工智能智能体中的可行性。

提出的方法

• 智能体在两个模拟环境中通过深度强化学习进行训练：'哪个更重'（用于质量估计）和'积木塔'（用于物体计数）。
• 智能体通过施加力（如推动、敲击）与物体互动，并观察其产生的动力学行为以推断隐藏的物理属性。
• 通过设计奖励信号，鼓励准确预测，同时惩罚错误答案和过高的交互成本。
• 策略网络通过端到端训练，将观测结果（如视觉状态、运动信息）映射为能最大化长期奖励的动作。
• 环境使用刚体动力学引擎模拟物理过程，以确保智能体行为产生真实的物理响应。
• 该方法不假设智能体预先知晓物理定律或物体属性，要求其通过交互自主发现这些规律。

实验结果

研究问题

• RQ1 智能体是否能够在不了解物理知识的前提下，学会通过执行物理实验来推断隐藏属性（如质量与黏聚力）？
• RQ2 在不同实验设置中，智能体如何在交互成本与错误推断风险之间进行权衡？
• RQ3 学习到的实验策略是否在准确性和效率方面优于随机交互策略？
• RQ4 智能体是否能够发展出自适应的闭环策略，以响应物理交互中随时间变化的动力学行为？
• RQ5 当智能体被训练通过主动实验推断物理属性时，会涌现出何种类型的交互策略？

主要发现

• 通过深度强化学习训练的智能体学会了执行有针对性的物理实验（如推动积木或敲倒塔楼），有效揭示了隐藏的物理属性。
• 在'哪个更重'任务中，智能体发展出类似于最优算法的策略，例如施加受控力以间接比较质量。
• 在'积木塔'环境中，智能体学习到一种闭环策略，能够根据物体倒塌的时间尺度变化进行自适应调整，展现出时间推理能力。
• 学习到的策略在预测准确性上优于随机基线，且通常在更少的交互次数内实现收敛。
• 智能体学会了在信息增益与交互成本之间取得平衡，根据任务难度和不确定性动态调整策略。
• 结果表明，通过交互实现的主动实验是人工智能智能体学习物理表征的一条可行路径。