[论文解读] Internal Model from Observations for Reward Shaping

Daiki Kimura, Subhajit Chaudhury+2 more|arXiv (Cornell University)|Jun 2, 2018

Reinforcement Learning in Robotics参考文献 28被引用 13

一句话总结

本文提出了一种强化学习方法，该方法从仅包含专家状态轨迹（例如游戏视频）中学习内部预测模型，以生成密集的内在奖励，而无需动作标签。通过测量实际状态与预测状态之间的差异，智能体能够塑造奖励，以鼓励其行为接近专家示范，在 Super Mario Bros 和 Flappy Bird 等环境中，相比稀疏奖励或人工设计的奖励，实现了更快且更稳定的训练。

ABSTRACT

Reinforcement learning methods require careful design involving a reward function to obtain the desired action policy for a given task. In the absence of hand-crafted reward functions, prior work on the topic has proposed several methods for reward estimation by using expert state trajectories and action pairs. However, there are cases where complete or good action information cannot be obtained from expert demonstrations. We propose a novel reinforcement learning method in which the agent learns an internal model of observation on the basis of expert-demonstrated state trajectories to estimate rewards without completely learning the dynamics of the external environment from state-action pairs. The internal model is obtained in the form of a predictive model for the given expert state distribution. During reinforcement learning, the agent predicts the reward as a function of the difference between the actual state and the state predicted by the internal model. We conducted multiple experiments in environments of varying complexity, including the Super Mario Bros and Flappy Bird games. We show our method successfully trains good policies directly from expert game-play videos.

研究动机与目标

• 解决强化学习中稀疏或不可用奖励函数的挑战。
• 实现仅从专家状态轨迹（无需动作序列）进行模仿学习。
• 开发一种基于内部预测建模的奖励塑造方法，以指导策略学习。
• 证明仅从视频演示中即可推导出密集的内在奖励信号，从而实现有效的强化学习训练。

提出的方法

• 智能体学习一个基于 3D-CNN 的内部模型，用于从专家游戏视频的状态序列中预测下一帧。
• 该内部模型仅基于状态轨迹进行训练，不包含任何动作或奖励信息。
• 在强化学习过程中，智能体将实际下一状态与内部模型预测状态之间的负 L2 距离作为奖励。
• 应用阈值机制以防止出现平凡解（例如，始终停留在初始状态）。
• 奖励函数设计为密集且内在，以鼓励智能体遵循类似专家的状态转移。
• 该方法在 Super Mario Bros 和 Flappy Bird 等环境中使用 DQN、DDPG 和 PPO 进行评估，仅依赖视频演示。

实验结果

研究问题

• RQ1 强化学习智能体能否仅从游戏视频中的专家状态轨迹中学习到良好策略，而无需任何动作或奖励信号？
• RQ2 基于内部模型预测的奖励塑造方法与人工设计的密集奖励和基于好奇心的方法相比，性能如何？
• RQ3 内部模型能否生成密集且有意义的奖励信号，从而实现比稀疏奖励更快、更稳定的训练？
• RQ4 该内部模型在不同任务复杂度的环境中泛化能力如何？
• RQ5 该方法对超参数（如阈值 ζ）的敏感性如何？模型架构对性能有何影响？

主要发现

• 在 Super Mario Bros 环境中，所提方法的收敛速度优于人工设计的密集奖励和基于好奇心的方法。
• 即使在稀疏奖励设置下，智能体在 300 万步后仍无法稳定到达目标（平均位置为 650），而所提方法则更可靠地实现了更优性能。
• 基于内部模型的奖励在学习速度和最终策略质量方面均优于基于好奇心和基于得分的奖励。
• 该方法成功实现了仅使用视频演示训练智能体，无需动作标注或奖励信号。
• 引入阈值 ζ 对防止出现平凡策略（如始终停留在初始状态）至关重要。
• 性能随更深网络和更高分辨率输入的提升而改善，表明存在进一步优化的空间。