[论文解读] Off-Policy Deep Reinforcement Learning by Bootstrapping the Covariate Shift

Carles Gelada, Marc G. Bellemare|arXiv (Cornell University)|Jan 27, 2019

Reinforcement Learning in Robotics参考文献 20被引用 6

一句话总结

本文提出折扣COP-TD，一种稳定的离策略深度强化学习方法，通过引入折扣因子和软归一化惩罚，解决了价值函数发散问题，无需将结果投影到单纯形上。在Atari游戏上的评估显示，该方法在稳定性与性能上优于基线离策略方法，尤其在Pong和五个Atari环境中表现更优。

ABSTRACT

In this paper we revisit the method of off-policy corrections for reinforcement learning (COP-TD) pioneered by Hallak et al. (2017). Under this method, online updates to the value function are reweighted to avoid divergence issues typical of off-policy learning. While Hallak et al.'s solution is appealing, it cannot easily be transferred to nonlinear function approximation. First, it requires a projection step onto the probability simplex; second, even though the operator describing the expected behavior of the off-policy learning algorithm is convergent, it is not known to be a contraction mapping, and hence, may be more unstable in practice. We address these two issues by introducing a discount factor into COP-TD. We analyze the behavior of discounted COP-TD and find it better behaved from a theoretical perspective. We also propose an alternative soft normalization penalty that can be minimized online and obviates the need for an explicit projection step. We complement our analysis with an empirical evaluation of the two techniques in an off-policy setting on the game Pong from the Atari domain where we find discounted COP-TD to be better behaved in practice than the soft normalization penalty. Finally, we perform a more extensive evaluation of discounted COP-TD in 5 games of the Atari domain, where we find performance gains for our approach.

研究动机与目标

• 解决使用非线性函数逼近时，离策略深度强化学习中的不稳定与收敛性问题。
• 克服COP-TD在应用于深度网络时的局限性——特别是对单纯形投影的需求以及缺乏压缩映射性质。
• 通过基于协变量偏移重加权过渡样本，提升基于经验回放的离策略设置下的样本效率与学习稳定性。
• 评估折扣COP-TD与软归一化在深度强化学习环境中的有效性，特别是在Atari 2600领域。

提出的方法

• 在COP-TD更新规则中引入折扣因子γ̂，以提升理论稳定性并防止价值函数误差无界增长。
• 提出一种可在线最小化的软归一化惩罚，替代计算成本较高的单纯形投影步骤。
• 使用深度神经网络预测协变量偏移比c(s) = d_π(s)/d_μ(s)，其中d_π和d_μ分别为目标策略和行为策略下的平稳状态分布。
• 将预测的比值应用于重加权时序差分更新，有效校正离策略数据中的分布偏移。
• 采用优先经验回放机制，将协变量偏移预测作为采样优先级，提升数据效率。
• 通过Pong和五个Atari游戏进行实证评估，比较不同超参数与采样策略下的性能表现。

实验结果

研究问题

• RQ1 在COP-TD中引入折扣因子是否能提升其在深度强化学习中的稳定性与收敛性？
• RQ2 软归一化惩罚是否能消除对显式投影到单纯形的需求，同时保持性能？
• RQ3 在复杂环境中，预测的协变量偏移比与目标策略下实际状态可能性的相关性如何？
• RQ4 将协变量偏移作为优先级信号是否能提升离策略学习中的样本效率？
• RQ5 折扣因子γ̂的选择如何影响学习到的比值与最终智能体性能？

主要发现

• 在Pong环境中，折扣COP-TD在稳定性与性能上优于原始COP-TD与软归一化基线，尤其在均匀采样下表现更优。
• 软归一化惩罚虽能降低训练不稳定性，但在Pong与更广泛的Atari套件中仍逊于折扣COP-TD。
• 实证结果表明，预测比值c(s)能有效区分目标策略π下可能的状态（如成功击球）与不可能的状态（如对手即将得分的状态）。
• c(s)值较低的状态主要为智能体处于劣势或即将失败的状态，证实模型学习到了有意义的分布偏移。
• 将协变量偏移作为优先级信号可提升学习效率，尽管效果在不同游戏中有所差异，尤其在均匀采样下的Space Invaders中取得显著提升。
• 随着γ̂增大，平均预测比值单调递减，表明存在比值坍塌至零的风险，但即使在γ̂ = 0.9999时也未观察到发散现象。