[论文解读] Energy-Based Hindsight Experience Prioritization

Rui Zhao, Volker Tresp|arXiv (Cornell University)|Oct 2, 2018

Reinforcement Learning in Robotics参考文献 43被引用 27

一句话总结

本文提出能量基础优先级（EBP）方法，通过使用受物理启发的轨迹能量函数（对时间上动能、势能和转动能量变化求和）来优先处理机器人操作任务中的事后经验回放（HER）。EBP在平均样本效率上提升了1.96倍，性能较最先进HER基线提升3.75个百分点，且未增加计算成本。

ABSTRACT

In Hindsight Experience Replay (HER), a reinforcement learning agent is trained by treating whatever it has achieved as virtual goals. However, in previous work, the experience was replayed at random, without considering which episode might be the most valuable for learning. In this paper, we develop an energy-based framework for prioritizing hindsight experience in robotic manipulation tasks. Our approach is inspired by the work-energy principle in physics. We define a trajectory energy function as the sum of the transition energy of the target object over the trajectory. We hypothesize that replaying episodes that have high trajectory energy is more effective for reinforcement learning in robotics. To verify our hypothesis, we designed a framework for hindsight experience prioritization based on the trajectory energy of goal states. The trajectory energy function takes the potential, kinetic, and rotational energy into consideration. We evaluate our Energy-Based Prioritization (EBP) approach on four challenging robotic manipulation tasks in simulation. Our empirical results show that our proposed method surpasses state-of-the-art approaches in terms of both performance and sample-efficiency on all four tasks, without increasing computational time. A video showing experimental results is available at https://youtu.be/jtsF2tTeUGQ

研究动机与目标

• 为解决事后经验回放（HER）中均匀回放的低效问题，即所有轨迹均被同等对待，而不论其学习价值如何。
• 开发一种基于物理原理的系统性度量方法，以识别对训练最具信息量的轨迹。
• 在不增加计算开销的前提下，提升多目标强化学习中的样本效率和最终性能。
• 验证轨迹能量与学习难度及时序差分（TD）误差的相关性，从而证明其作为优先级信号的合理性。

提出的方法

• 轨迹能量函数定义为轨迹中所有时间步的过渡能量（动能、势能和转动能量）之和。
• 状态间过渡能量通过目标物体机械能（动能 + 势能 + 转动能量）的变化来计算。
• 根据轨迹的总能量对轨迹进行优先级排序，能量越高表示交互越复杂或越成功。
• 该方法与使用事后经验回放（HER）的异策略深度强化学习算法集成，将均匀回放替换为基于能量的优先级回放。
• 在MuJoCo仿真环境中，使用OpenAI Gym环境对四种机器人操作任务进行了评估。
• 基于能量的优先级方法与现有方法（如优先经验回放PER）正交，可与之结合使用。

实验结果

研究问题

• RQ1 轨迹能量能否作为机器人操作任务中学习难度的可靠代理？
• RQ2 优先处理高能量轨迹是否能提升HER中的样本效率和最终性能？
• RQ3 轨迹能量与时序差分（TD）误差之间是否存在显著相关性，表明其具有学习价值？
• RQ4 基于物理的能量度量能否有效用于指导异策略强化学习中的课程学习？

主要发现

• 与原始HER相比，EBP在四个机器人操作任务上的平均最终成功率提升了3.75个百分点。
• 在FetchPickAndPlace-v0环境中，EBP实现了94.84%的成功率，优于原始HER（93.78%）和结合PER的HER（93.66%）。
• EBP平均将样本效率提升了1.96倍，各任务中的增益范围为1.49倍至2.72倍。
• 在FetchPickAndPlace-v0环境中实现93.8%成功率时，EBP仅需48,000个样本，而原始HER需93,100个样本——样本效率近乎翻倍。
• 轨迹能量与TD误差之间的皮尔逊相关系数为0.6，证实高能量轨迹更具学习信息量。
• 该方法保持与标准HER相同的计算成本，因此适用于实际部署。