[论文解读] Learning Guidance Rewards with Trajectory-space Smoothing

Tanmay Gangwani, Yuan Zhou+1 more|arXiv (Cornell University)|Oct 23, 2020

Reinforcement Learning in Robotics参考文献 36被引用 4

一句话总结

本文提出一种通过轨迹空间平滑学习密集引导奖励的方法，在深度强化学习中实现高效的时序信用分配，适用于环境奖励稀疏或延迟的情况。通过将轨迹回报均匀分配给每个状态-动作对，该方法在无需训练辅助网络的情况下提供密集监督，显著提升了单智能体与多智能体强化学习算法的样本效率。

ABSTRACT

Long-term temporal credit assignment is an important challenge in deep reinforcement learning (RL). It refers to the ability of the agent to attribute actions to consequences that may occur after a long time interval. Existing policy-gradient and Q-learning algorithms typically rely on dense environmental rewards that provide rich short-term supervision and help with credit assignment. However, they struggle to solve tasks with delays between an action and the corresponding rewarding feedback. To make credit assignment easier, recent works have proposed algorithms to learn dense "guidance" rewards that could be used in place of the sparse or delayed environmental rewards. This paper is in the same vein -- starting with a surrogate RL objective that involves smoothing in the trajectory-space, we arrive at a new algorithm for learning guidance rewards. We show that the guidance rewards have an intuitive interpretation, and can be obtained without training any additional neural networks. Due to the ease of integration, we use the guidance rewards in a few popular algorithms (Q-learning, Actor-Critic, Distributional-RL) and present results in single-agent and multi-agent tasks that elucidate the benefit of our approach when the environmental rewards are sparse or delayed.

研究动机与目标

• 解决在环境奖励稀疏或延迟时，深度强化学习中长期时序信用分配的挑战。
• 开发一种可无缝集成到现有强化学习算法中的方法，以提升样本效率。
• 通过可从轨迹回报中轻松计算的引导奖励，提供密集监督。
• 在无需辅助神经网络或复杂奖励建模的情况下，确保对奖励延迟的不变性。
• 通过在轨迹中均匀重新分配总回报，实现有效的信用分配。

提出的方法

• 通过在轨迹空间中进行平滑处理，推导出包含引导奖励的代理强化学习目标。
• 将引导奖励定义为包含每个状态-动作对的过去轨迹的期望回报，以实现均匀的信用分配。
• 仅使用轨迹回报和转移动态来计算引导奖励，避免训练额外的神经网络。
• 将引导奖励集成到标准强化学习算法（如Q-learning、SAC、TD3和分布强化学习）中。
• 确保该方法在引导奖励函数下与标准强化学习保持等价，保留收敛性特性。
• 应用轨迹空间平滑以稳定值估计，并改善延迟奖励环境中的信用分配。

实验结果

研究问题

• RQ1 轨迹空间平滑能否生成有效的引导奖励，以改善延迟奖励强化学习中的信用分配？
• RQ2 与使用学习型奖励模型或辅助网络的现有方法相比，该方法表现如何？
• RQ3 引导奖励在稀疏或延迟环境奖励设置下，能在多大程度上加速学习？
• RQ4 该方法是否能与多种标准强化学习算法（包括离策略和分布强化方法）保持兼容？
• RQ5 引导奖励能否在不训练额外模型的情况下高效计算，同时仍实现样本高效的训练？

主要发现

• 引导奖励通过将总轨迹回报均匀分配给所有状态-动作对，提供密集监督，从而改善值函数估计。
• 该方法在延迟奖励的MuJoCo运动控制任务中显著提升了学习速度和样本效率，优于标准SAC和Q-learning。
• 与SAC、TD3和分布强化学习的集成，使单智能体和多智能体任务在稀疏或延迟奖励环境下实现更快收敛。
• 该方法在性能上达到或优于先前使用学习型奖励模型的方法，但无需训练额外的神经网络。
• 实验表明，引导奖励对奖励延迟具有鲁棒性，并在多种环境中保持稳定的学习过程。
• 该方法可即插即用，无需对现有强化学习算法进行架构修改，且与离策略和同策略框架均兼容。