[论文解读] ARCHER: Aggressive Rewards to Counter bias in Hindsight Experience Replay

Sameera Lanka, Tianfu Wu|arXiv (Cornell University)|Sep 6, 2018

Reinforcement Learning in Robotics参考文献 29被引用 21

一句话总结

ARCHER 通过为事后经验使用更激进（数值更高）的奖励，提出了一种方法来缓解事后经验回放（HER）中的 hindsight bias，显著提升了在稀疏或二值奖励下的深度强化学习的样本效率。在 DeepMind Control Suite 的 Reacher 和 Finger 环境中的实验表明，ARCHER 在多种奖励函数和任务复杂度下始终优于原始 HER。

ABSTRACT

Experience replay is an important technique for addressing sample-inefficiency in deep reinforcement learning (RL), but faces difficulty in learning from binary and sparse rewards due to disproportionately few successful experiences in the replay buffer. Hindsight experience replay (HER) was recently proposed to tackle this difficulty by manipulating unsuccessful transitions, but in doing so, HER introduces a significant bias in the replay buffer experiences and therefore achieves a suboptimal improvement in sample-efficiency. In this paper, we present an analysis on the source of bias in HER, and propose a simple and effective method to counter the bias, to most effectively harness the sample-efficiency provided by HER. Our method, motivated by counter-factual reasoning and called ARCHER, extends HER with a trade-off to make rewards calculated for hindsight experiences numerically greater than real rewards. We validate our algorithm on two continuous control environments from DeepMind Control Suite - Reacher and Finger, which simulate manipulation tasks with a robotic arm - in combination with various reward functions, task complexities and goal sampling strategies. Our experiments consistently demonstrate that countering bias using more aggressive hindsight rewards increases sample efficiency, thus establishing the greater benefit of ARCHER in RL applications with limited computing budget.

研究动机与目标

• 为解决 Hindsight Experience Replay (HER) 中固有的偏差问题，即事后经验被视作与真实经验同等有效，尽管其可能性被高估。
• 提升深度强化学习中的样本效率，特别是在具有稀疏或二值奖励的高维连续控制任务中。
• 通过实证验证，增加事后经验奖励的数值（超过真实奖励）可带来更优的学习性能。
• 提供一种简单、高效且鲁棒的方法，以增强 HER，而无需修改底层算法结构。

提出的方法

• ARCHER 引入了真实奖励（λʳ）与事后奖励（λʰ）之间的加权权衡，其中 λʳ < λʰ，使事后奖励在数值上更大。
• 该方法通过反事实推理纠正 hindsight bias，当事后经验导致成功的目标重标记时，将其视为更具信息量。
• 通过在回放过程中使用调整后的奖励值重加权损失函数，将该方法扩展至 DDPG 等现有异策略算法。
• 采用线性权衡参数化方法，在训练期间平衡真实经验与事后经验的贡献。
• 该方法设计为与底层强化学习算法无关，可轻松集成至 DDPG、DQN 及其他异策略方法中。
• 实验中使用从智能体轨迹中采样未来目标的方式进行目标重标记，以生成事后经验，并通过 λʳ/λʰ 比值对奖励进行缩放。

实验结果

研究问题

• RQ1 事后经验回放（HER）是否由于高估了重播事后轨迹的可能性，而引入系统性偏差？
• RQ2 是否可以通过提高事后奖励相对于真实奖励的数值，来减轻该偏差并提升样本效率？
• RQ3 所提出的方法 ARCHER 在不同奖励函数（包括二值正向、负向及塑形奖励）下是否具有鲁棒性？
• RQ4 ARCHER 在连续控制环境中，面对不同任务复杂度和目标采样策略时，是否仍保持优越性能？
• RQ5 ARCHER 的优势是否会随时间推移而减弱，提示需要自适应奖励调度？

主要发现

• 在 DeepMind Control Suite 的 Reacher 和 Finger 环境中，ARCHER 在样本效率方面始终优于原始 HER。
• 在稀疏二值负向奖励设置下，ARCHER 使用 λʳ < λʰ 时收敛更快且最终性能更高，优于原始 HER。
• 在使用正向二值奖励函数时，ARCHER 的性能依然更优，证实其对奖励符号的鲁棒性。
• 在高维控制任务（如 Finger）中，ARCHER 即使在数千次训练步骤后仍保持显著性能优势。
• 在密集负向奖励及更大目标球体设置下，ARCHER 仍优于原始 HER，表明其在复杂稀疏场景中的有效性。
• 即使在塑形奖励设置下，ARCHER 依然有效，而此前研究已报告原始 HER 在此类设置下表现不佳。