[论文解读] Beyond Exponentially Discounted Sum: Automatic Learning of Return Function

Yufei Wang, Qiwei Ye+1 more|arXiv (Cornell University)|May 28, 2019

Reinforcement Learning in Robotics参考文献 36被引用 4

一句话总结

本文提出了一种元学习方法，用于在强化学习中自动发现最优回报函数，突破了标准指数衰减和的局限。通过使用基于Transformer的系数预测器，将回报建模为轨迹奖励的可学习线性组合，该方法在迷宫和Atari游戏等稀疏奖励环境中加速了学习，实证结果表明在延迟奖励设置下性能显著提升。

ABSTRACT

In reinforcement learning, Return, which is the weighted accumulated future rewards, and Value, which is the expected return, serve as the objective that guides the learning of the policy. In classic RL, return is defined as the exponentially discounted sum of future rewards. One key insight is that there could be many feasible ways to define the form of the return function (and thus the value), from which the same optimal policy can be derived, yet these different forms might render dramatically different speeds of learning this policy. In this paper, we research how to modify the form of the return function to enhance the learning towards the optimal policy. We propose to use a general mathematical form for return function, and employ meta-learning to learn the optimal return function in an end-to-end manner. We test our methods on a specially designed maze environment and several Atari games, and our experimental results clearly indicate the advantages of automatically learning optimal return functions in reinforcement learning.

研究动机与目标

• 为解决强化学习中固定回报函数的局限性，特别是稀疏奖励场景下指数衰减导致的学习缓慢问题。
• 探究是否可以通过学习一种超越指数衰减的更有效回报函数形式，加速策略学习，同时保持相同的最优策略。
• 开发一种端到端、可微分的方法，利用元梯度优化学习回报函数的结构。
• 证明轨迹感知的回报函数能够更有效地重新分配信用，从而在具有挑战性的强化学习环境中实现更快收敛。

提出的方法

• 提出一种通用的回报函数形式：$ G^{g}(s_t, a_t) = \sum_{t=0}^{T} \beta_t r_t $，其中系数 $ \beta_t $ 从完整轨迹中动态预测。
• 使用基于Transformer的网络计算系数 $ \beta_t $，实现对轨迹中状态和奖励的关联推理。
• 采用元学习（具体为元梯度下降）优化回报函数参数，使下游策略能够更快学习。
• 将学习到的回报函数集成到演员-评论家框架（A2C）中，价值函数被训练以预测元学习得到的回报。
• 将回报函数视为可微模块，允许通过回报计算进行反向传播，从而更新系数网络。
• 对超参数（学习率和轨迹长度）进行搜索，以在每个环境中找到最优配置。

实验结果

研究问题

• RQ1 是否一种比指数衰减更能有效重新分配信用的回报函数，能在强化学习中实现更快的策略学习？
• RQ2 是否可以使用元学习以端到端方式自动学习回报函数的最优形式？
• RQ3 在稀疏或延迟奖励环境中，轨迹感知的非指数回报函数如何影响学习速度？
• RQ4 所提出的方法是否能在不同奖励稀疏程度的环境中（如迷宫和Atari游戏）实现泛化？

主要发现

• 在专门设计的迷宫环境中，所提出的RGM方法在学习速度上显著优于原始A2C和标准指数衰减法，尤其在训练初期表现突出。
• 在迷宫环境中学习到的回报函数几乎将全部权重集中于最终的延迟奖励上，实现了近乎无损的梯度信号反向传播至早期状态。
• 在具有延迟奖励的Atari游戏（如Frostbite、Bowling）中，A2C + RGM相比原始A2C和LIRPG表现出显著的性能提升，显示出更快的收敛速度。
• 对于具有密集即时奖励的游戏（如Space Invaders、Breakout），该方法保持了具有竞争力的性能，表明其在不同奖励稀疏水平下的鲁棒性。
• 在10款测试的Atari游戏中，该方法在7款中优于基线A2C，在原始回报函数因延迟信用分配而表现困难的环境中，性能提升最为显著。
• 可视化结果证实，RGM能够正确地为正确路径的最终奖励分配高系数，而指数基线则随时间指数衰减了该信号。