[论文解读] Shallow Updates for Deep Reinforcement Learning

Nir Levine, Tom Zahavy+3 more|arXiv (Cornell University)|May 21, 2017

Reinforcement Learning in Robotics参考文献 30被引用 10

一句话总结

本文提出LS-DQN，一种混合深度强化学习方法，通过使用带有贝叶斯正则化的批量最小二乘更新，周期性地微调深度Q网络的最后几层。该方法通过利用大规模批量LS优化，在Atari游戏中显著提升了标准DQN和Double-DQN的性能，其主要改进归因于最后一层大规模批量更新带来的稳定性和数据效率。

ABSTRACT

Deep reinforcement learning (DRL) methods such as the Deep Q-Network (DQN) have achieved state-of-the-art results in a variety of challenging, high-dimensional domains. This success is mainly attributed to the power of deep neural networks to learn rich domain representations for approximating the value function or policy. Batch reinforcement learning methods with linear representations, on the other hand, are more stable and require less hyper parameter tuning. Yet, substantial feature engineering is necessary to achieve good results. In this work we propose a hybrid approach -- the Least Squares Deep Q-Network (LS-DQN), which combines rich feature representations learned by a DRL algorithm with the stability of a linear least squares method. We do this by periodically re-training the last hidden layer of a DRL network with a batch least squares update. Key to our approach is a Bayesian regularization term for the least squares update, which prevents over-fitting to the more recent data. We tested LS-DQN on five Atari games and demonstrate significant improvement over vanilla DQN and Double-DQN. We also investigated the reasons for the superior performance of our method. Interestingly, we found that the performance improvement can be attributed to the large batch size used by the LS method when optimizing the last layer.

研究动机与目标

• 通过整合稳定的小批量方法，解决在线深度Q学习中的不稳定性和超参数敏感性问题。
• 通过利用深度网络进行特征表征，克服浅层强化学习方法需要大量特征工程的局限性。
• 开发一种混合框架，结合深度网络的表达性特征学习能力与基于最小二乘时序差分方法的数据效率和稳定性。
• 探究在最后一层使用大规模批量最小二乘更新是否能提升深度强化学习性能，尽管普遍认为大规模批量会损害泛化能力。

提出的方法

• 使用带有卷积层和全连接层的深度Q网络，以提取丰富的状态表征。
• 在在线DRL训练期间收集的经验回放数据上，周期性地对最后一层全连接层使用批量最小二乘（LS）更新。
• 在LS更新中应用贝叶斯正则化项，将当前DRL策略权重作为先验，以防止对近期数据的过拟合。
• 保持网络下层的预训练权重不变，以保留已学习的特征，同时仅对最后一层使用LS进行优化。
• 在在线DQN更新与最后一层的周期性LS更新之间交替进行，有效结合小批量在线学习与大规模批量学习。
• 使用大型经验回放缓冲区，以支持大规模批量LS优化，从而提高稳定性和收敛性。

实验结果

研究问题

• RQ1 将深度表征学习与批量最小二乘强化学习相结合，是否能在Atari游戏中实现优于标准DQN的性能？
• RQ2 在深度网络的最后一层使用大规模批量LS更新，是否相比小批量在线更新能带来更好的泛化能力和稳定性？
• RQ3 在深度强化学习设置中，贝叶斯正则化在防止最后一层LS更新过程中的过拟合方面起到什么作用？
• RQ4 LS-DQN混合方法为何优于标准DQN和Double-DQN？具体是哪个组件驱动了这种性能提升？
• RQ5 LS更新带来的性能增益是否可归因于大批次大小，而非函数逼近器或正则化方法的选择？

主要发现

• LS-DQN在五个Atari游戏中均显著优于原始DQN和Double-DQN，且在人类归一化得分上表现出一致的提升。
• 性能提升的主要驱动力是最后一层的大规模批量最小二乘更新，而非贝叶斯正则化或混合架构本身。
• LS更新中使用的大批次大小相比标准DQN中的小批次SGD，带来了更稳定且更具泛化能力的权重更新。
• 该方法在保持深度网络表达性特征表征的同时，受益于基于LS的批量方法在数据效率和收敛性保证方面的优势。
• 贝叶斯正则化项在LS更新期间有效防止了对近期经验的过拟合，提升了模型鲁棒性。
• 结果在不同DRL与SRL方法的组合中保持一致，表明该混合方法具有良好的泛化能力。