[论文解读] DR3: Value-Based Deep Reinforcement Learning Requires Explicit Regularization

Aviral Kumar, Rishabh Agarwal+4 more|arXiv (Cornell University)|Dec 9, 2021

Reinforcement Learning in Robotics被引用 6

一句话总结

本文指出，随机梯度下降（SGD）中的隐式正则化会损害离线设置下基于价值函数的深度强化学习（RL），其原因在于引发特征共适应与表征混叠。为应对这一问题，作者提出DR3，一种简单且显式的正则化方法，通过惩罚连续状态-动作对之间特征的相似性，显著提升了Atari、D4RL和机器人操控基准测试中的性能与稳定性。

ABSTRACT

Despite overparameterization, deep networks trained via supervised learning are easy to optimize and exhibit excellent generalization. One hypothesis to explain this is that overparameterized deep networks enjoy the benefits of implicit regularization induced by stochastic gradient descent, which favors parsimonious solutions that generalize well on test inputs. It is reasonable to surmise that deep reinforcement learning (RL) methods could also benefit from this effect. In this paper, we discuss how the implicit regularization effect of SGD seen in supervised learning could in fact be harmful in the offline deep RL setting, leading to poor generalization and degenerate feature representations. Our theoretical analysis shows that when existing models of implicit regularization are applied to temporal difference learning, the resulting derived regularizer favors degenerate solutions with excessive "aliasing", in stark contrast to the supervised learning case. We back up these findings empirically, showing that feature representations learned by a deep network value function trained via bootstrapping can indeed become degenerate, aliasing the representations for state-action pairs that appear on either side of the Bellman backup. To address this issue, we derive the form of this implicit regularizer and, inspired by this derivation, propose a simple and effective explicit regularizer, called DR3, that counteracts the undesirable effects of this implicit regularizer. When combined with existing offline RL methods, DR3 substantially improves performance and stability, alleviating unlearning in Atari 2600 games, D4RL domains and robotic manipulation from images.

研究动机与目标

• 探究为何基于价值函数的深度强化学习方法在离线设置下尽管具有过参数化特性，其性能仍会在训练过程中下降。
• 分析SGD在时序差分学习中的隐式正则化效应及其对特征表示的负面影响。
• 识别特征共适应与表征混叠为离线深度强化学习性能下降的关键原因。
• 开发一种实用且理论基础坚实的正则化方法，以缓解上述问题，且无需修改底层强化学习算法。
• 通过实证验证DR3在多种离线强化学习基准测试中均能提升性能与稳定性。

提出的方法

• 理论分析推导出SGD在时序差分学习中诱导出的隐式正则化形式，表明其倾向于选择在Bellman更新中具有高特征相似性的退化解。
• 实证分析表明，特征共适应（通过连续状态-动作特征之间的点积相似性衡量）与性能下降存在显著相关性。
• DR3被设计为一种可计算的显式正则化方法，通过惩罚时间上相邻的状态-动作对特征之间的高点积相似性。
• 该正则化项通过在自举更新过程中最小化连续过渡特征之间的余弦相似性，实现在训练过程中的应用。
• DR3与现有离线强化学习算法（如CQL、REM和BRAC）兼容，可轻松集成，无需架构修改。
• 实验在Atari 2600游戏、D4RL环境以及基于图像的机器人操控任务上，采用标准离线强化学习基准测试评估DR3。

实验结果

研究问题

• RQ1 SGD中的隐式正则化（在监督学习中有益）是否也对离线设置下的基于价值函数的深度强化学习有益？
• RQ2 在使用深度网络的时序差分学习中，所出现的隐式正则化形式为何？
• RQ3 该隐式正则化如何导致退化特征表示并引发性能下降？
• RQ4 显式正则化能否抵消该隐式正则化的负面影响？
• RQ5 DR3是否能在多种离线强化学习基准测试中提升性能与稳定性？

主要发现

• 在最具有挑战性的D4RL任务上，DR3相较基线离线强化学习方法实现了60%的性能提升。
• 在17款Atari 2600游戏中，DR3使REM的稳定性提升160%，使CQL的稳定性提升25%（以训练迭代过程中的平均性能衡量）。
• 引入DR3后，特征点积相似性显著降低，表明共适应现象减少，且在整个训练过程中稳定保持在低水平。
• DR3可防止特征表示中的秩崩溃，而秩崩溃是离线强化学习中已知的病理现象，与性能下降密切相关。
• 该方法在基于图像的机器人操控任务中也提升了性能，证明其在像素环境之外的泛化能力。
• 即使Q值未被高估，若长期训练中未使用DR3，性能仍会因特征共适应加剧而持续下降。