[论文解读] Keeping Your Distance: Solving Sparse Reward Tasks Using Self-Balancing Shaped Rewards

Alexander T. Trott, Stephan Zheng+2 more|arXiv (Cornell University)|Nov 4, 2019

Reinforcement Learning in Robotics被引用 31

一句话总结

本文提出 Sibling Rivalry，一种自平衡奖励塑造方法，通过成对轨迹比较，防止智能体在学习基于距离目标的奖励时陷入局部最优。通过对比兄弟轨迹，该方法在无需额外奖励工程的情况下促进多样化探索，从而在迷宫导航和 Minecraft 中的 3D 建造等稀疏奖励任务中实现高效学习，而标准奖励塑造和内在好奇心方法在此类任务中均会失效。

ABSTRACT

While using shaped rewards can be beneficial when solving sparse reward tasks, their successful application often requires careful engineering and is problem specific. For instance, in tasks where the agent must achieve some goal state, simple distance-to-goal reward shaping often fails, as it renders learning vulnerable to local optima. We introduce a simple and effective model-free method to learn from shaped distance-to-goal rewards on tasks where success depends on reaching a goal state. Our method introduces an auxiliary distance-based reward based on pairs of rollouts to encourage diverse exploration. This approach effectively prevents learning dynamics from stabilizing around local optima induced by the naive distance-to-goal reward shaping and enables policies to efficiently solve sparse reward tasks. Our augmented objective does not require any additional reward engineering or domain expertise to implement and converges to the original sparse objective as the agent learns to solve the task. We demonstrate that our method successfully solves a variety of hard-exploration tasks (including maze navigation and 3D construction in a Minecraft environment), where naive distance-based reward shaping otherwise fails, and intrinsic curiosity and reward relabeling strategies exhibit poor performance.

研究动机与目标

• 解决因局部最优导致的朴素距离目标奖励塑造在稀疏奖励任务中失效的问题。
• 开发一种无需领域特定奖励工程或外部模块即可增强探索的方法。
• 在提升样本效率和收敛性的同时，保持与原始稀疏奖励目标的一致性。
• 在如 Minecraft 中的 3D 导航与建造等高探索难度环境中实现有效学习。
• 提供一种可泛化的、无需模型的通用方法，可无缝集成至现有强化学习框架中。

提出的方法

• 该方法引入一种基于比较同一策略、初始状态和目标下独立采样得到的成对轨迹（兄弟轨迹）的辅助奖励。
• 计算一种自平衡奖励，惩罚与其他轨迹过于相似的行为，从而避免收敛至局部最优。
• 其核心机制利用兄弟轨迹之间的相对距离目标来估计局部最优，并促进向远离这些区域的探索。
• 塑造后的奖励动态调整：随着策略改进并成功抵达目标，奖励逐渐收敛至原始稀疏奖励。
• 该方法为无模型方法，无需训练或维护外部世界模型或好奇心模块。
• 其兼容层级强化学习，可应用于连续与离散动作空间。

实验结果

研究问题

• RQ1 是否可以在不依赖问题特定奖励工程的前提下，使距离目标塑造对局部最优更具鲁棒性？
• RQ2 兄弟轨迹比较是否能有效稳定学习过程，并防止在稀疏奖励环境中过早收敛？
• RQ3 自平衡奖励机制是否在提升样本效率的同时，仍能保持原始任务目标？
• RQ4 在高探索难度任务中，该方法与内在好奇心和 hindsight experience replay 相比表现如何？
• RQ5 该方法是否能在多样化环境中泛化，包括复杂的 3D 建造任务？

主要发现

• Sibling Rivalry 在朴素距离目标塑造失败的 Minecraft 迷宫导航与 3D 建造任务中成功实现求解。
• 该方法在探索效率和最终任务性能方面优于内在好奇心和奖励重标记基线方法。
• 在 Minecraft 环境中，该方法在 4806 种独特的目标结构配置中均实现了高成功率，展现出强大的泛化能力。
• 随着智能体学习，自平衡奖励收敛至稀疏奖励，确保策略最优性得以保持。
• 该方法在层级控制设置中实现了有效学习，表明其与复杂任务结构具有兼容性。
• 实验结果证实，兄弟轨迹比较能有效破坏局部最优，且未引入新的稳定吸引子。