[论文解读] Intrinsic Motivation Driven Intuitive Physics Learning using Deep Reinforcement Learning with Intrinsic Reward Normalization

Jaewon Choi, Sung‐Eui Yoon|arXiv (Cornell University)|Jul 6, 2019

Human Pose and Action Recognition参考文献 23被引用 4

一句话总结

本文提出了一种具有内在奖励归一化的深度强化学习框架，使智能体能够通过自我监督的交互自主学习直观物理知识。通过使用图形化物理网络基于预测误差预测物体动力学和内在奖励，智能体在预测物体位置和速度方面实现了高精度，同时高效探索了多样化的行为。

ABSTRACT

At an early age, human infants are able to learn and build a model of the world very quickly by constantly observing and interacting with objects around them. One of the most fundamental intuitions human infants acquire is intuitive physics. Human infants learn and develop these models, which later serve as prior knowledge for further learning. Inspired by such behaviors exhibited by human infants, we introduce a graphical physics network integrated with deep reinforcement learning. Specifically, we introduce an intrinsic reward normalization method that allows our agent to efficiently choose actions that can improve its intuitive physics model the most. Using a 3D physics engine, we show that our graphical physics network is able to infer object's positions and velocities very effectively, and our deep reinforcement learning network encourages an agent to improve its model by making it continuously interact with objects only using intrinsic motivation. We experiment our model in both stationary and non-stationary state problems and show benefits of our approach in terms of the number of different actions the agent performs and the accuracy of agent's intuition model. Videos are at https://www.youtube.com/watch?v=pDbByp91r3M&t=2s

研究动机与目标

• 开发一种通过内在动机学习直观物理的智能体，模仿人类婴儿的自主探索行为。
• 通过将预测误差作为内在奖励信号，解决物理学习中的高效探索挑战。
• 利用结构化的图形化物理网络，提升智能体预测物体轨迹和物理状态的能力。
• 通过预训练直观物理模型，为未来学习提供可迁移的先验知识。

提出的方法

• 智能体使用图形化物理网络将物体表示为节点，其物理关系表示为边，通过位置、速度、尺寸和质量编码物体状态。
• 关系编码器基于物体特征计算方向性成对关系，这些关系的总和构成物体的关系嵌入。
• 基于预测未来物体状态的物理模型的预测误差生成内在奖励，误差经过归一化以稳定训练过程。
• 将归一化的内在奖励输入深度Q网络演员-评论家框架，以指导探索和策略学习。
• 智能体在3D物理模拟器中执行动作，观察结果，并使用预测误差作为学习信号更新其内部模型。
• 该方法通过优先选择产生高预测误差的动作，强调对多样化动作的探索，从而提升智能体的直观物理模型。

实验结果

研究问题

• RQ1 由预测误差驱动的内在动机是否能有效引导智能体探索改进其直观物理模型的动作？
• RQ2 在复杂的3D物理环境中，图形化物理网络在预测物体位置和速度方面表现如何？
• RQ3 与标准内在好奇心方法相比，内在奖励归一化是否能带来更高效且更丰富的探索？
• RQ4 所学习的直观物理模型能否在不同物体数量和物理配置下实现泛化？

主要发现

• 智能体在预测物体位置和速度方面达到了高精度，即使在最多包含8个物体的场景中，平均预测误差也保持较低水平。
• 该模型在静态和非静态环境中均表现出稳健性能，短期预测（≤4帧）的误差极小。
• 在更长的预测时域（>4帧）中，预测误差显著增加，表明长期预测中存在累积误差。
• 智能体执行了大量多样化的行为，表明其探索行为由内在动机和奖励归一化有效驱动。
• 图形化物理网络成功捕捉了物体之间的物理关系，即使在复杂构型下也能实现准确的轨迹预测。
• 内在奖励归一化方法提升了训练稳定性与探索效率，从而加速了模型的改进。