[论文解读] Learning Long-Term Reward Redistribution via Randomized Return Decomposition

Zhizhou Ren, Ruihan Guo+2 more|arXiv (Cornell University)|Nov 26, 2021

Reinforcement Learning in Robotics被引用 9

一句话总结

本文提出随机返回分解（RRD），一种在稀疏、延迟奖励的轨迹式强化学习中学习密集代理奖励的可扩展方法。通过训练奖励模型从随机子序列片段重构轨迹回报，RRD 实现了小批量优化，并在 MuJoCo 基准测试中显著优于基线方法，为现有回报分解方法提供了一种理论基础坚实、高效可靠的替代方案。

ABSTRACT

Many practical applications of reinforcement learning require agents to learn from sparse and delayed rewards. It challenges the ability of agents to attribute their actions to future outcomes. In this paper, we consider the problem formulation of episodic reinforcement learning with trajectory feedback. It refers to an extreme delay of reward signals, in which the agent can only obtain one reward signal at the end of each trajectory. A popular paradigm for this problem setting is learning with a designed auxiliary dense reward function, namely proxy reward, instead of sparse environmental signals. Based on this framework, this paper proposes a novel reward redistribution algorithm, randomized return decomposition (RRD), to learn a proxy reward function for episodic reinforcement learning. We establish a surrogate problem by Monte-Carlo sampling that scales up least-squares-based reward redistribution to long-horizon problems. We analyze our surrogate loss function by connection with existing methods in the literature, which illustrates the algorithmic properties of our approach. In experiments, we extensively evaluate our proposed method on a variety of benchmark tasks with episodic rewards and demonstrate substantial improvement over baseline algorithms.

研究动机与目标

• 解决在轨迹式强化学习中因稀疏且延迟的奖励而带来的学习挑战，即智能体每条轨迹仅接收一次回报信号。
• 克服人工设计奖励塑形的局限性，后者可能因奖励指定错误而导致非预期行为。
• 开发一种可扩展、样本高效的代理奖励学习方法，以近似真实环境回报。
• 通过将回报分解重新表述为代理优化问题，实现在长时序跨度上的有效信用分配。
• 为随机实现提供理论依据，并建立与现有方法（如均匀奖励再分配）的联系。

提出的方法

• 提出一个代理优化问题，即奖励模型从随机选取的状态-动作对子序列中预测完整轨迹的回报。
• 使用蒙特卡洛采样，将基于最小二乘法的回报分解扩展至长时序任务。
• 制定一种结构约束，要求代理奖励能从轨迹步骤的少量随机子集近似重构总回报。
• 通过小批量优化训练奖励模型，实现高效且可扩展的学习。
• 理论分析表明，代理损失是原始确定性回报分解损失的上界。
• 建立 RRD 与均匀奖励再分配之间的联系，并证明可控制代理差距以提升鲁棒性。

实验结果

研究问题

• RQ1 基于随机子序列的回报分解方法是否能提升长时序轨迹式强化学习中的可扩展性？
• RQ2 RRD 中的代理损失与原始确定性回报分解目标之间有何关系？
• RQ3 在奖励模型训练中使用随机子序列采样的理论依据是什么？
• RQ4 在长时序基准测试中，RRD 与现有代理奖励学习方法相比，在性能和样本效率方面表现如何？
• RQ5 RRD 是否能在减少对专家设计奖励函数依赖的同时，保持或提升性能？

主要发现

• RRD 在一系列 MuJoCo 基准任务中实现了相对于基线算法的显著性能提升，这些任务具有轨迹式奖励。
• 所提出的方法实现了有效的批量训练，显著提升了在长时序问题上的可扩展性。
• 理论证明代理损失函数是原始确定性回报分解损失的上界，为优化提供了坚实基础。
• RRD 建立了与均匀奖励再分配的联系，且可通过控制代理差距提升鲁棒性。
• 实证结果表明，RRD 在长时序控制任务中展现出更高的学习效率和最终性能。
• 该方法能有效将稀疏奖励转化为密集、信息丰富的代理奖励，从而实现更有效的策略优化。