[论文解读] Modern Deep Reinforcement Learning Algorithms

Sergey Ivanov, A. G. D’yakonov|arXiv (Cornell University)|Jun 24, 2019

Reinforcement Learning in Robotics参考文献 22被引用 15

一句话总结

本文对现代深度强化学习算法进行了全面综述，重点聚焦于基于价值的方法，如深度Q网络（DQN）及其扩展——双重DQN（Double DQN）、Dueling DQN、噪声DQN、优先经验回放（Prioritized Experience Replay）和多步DQN，以及分布式方法，如分类DQN（Categorical DQN）和QR-DQN。通过在Atari游戏（特别是Pong）上的实证实验评估，表明近端策略优化（PPO）在不到一小时内、经极少超参数调优后即达到最先进性能，而Rainbow DQN虽训练较慢，但结合了多项改进，显著提升了稳定性和样本效率。

ABSTRACT

Recent advances in Reinforcement Learning, grounded on combining classical theoretical results with Deep Learning paradigm, led to breakthroughs in many artificial intelligence tasks and gave birth to Deep Reinforcement Learning (DRL) as a field of research. In this work latest DRL algorithms are reviewed with a focus on their theoretical justification, practical limitations and observed empirical properties.

研究动机与目标

• 系统性地回顾并分析现代深度强化学习算法的理论基础与实际实现。
• 评估关键算法改进（如优先经验回放、分布式学习和噪声注入）对样本效率和训练稳定性的影响力。
• 从计算成本、超参数敏感度和在标准基准（如Atari游戏）上的性能角度，比较基于价值的方法与策略梯度方法。
• 研究将多项DQN改进整合到单一流水线中的实证有效性，以Rainbow DQN为典型示例。
• 评估现代深度强化学习系统中训练速度、性能与算法复杂度之间的权衡。

提出的方法

• 回顾经典强化学习基础，包括价值函数、贝尔曼方程和策略梯度定理。
• 介绍基于深度Q网络（DQN）的基于价值的算法，关键增强包括：通过双重DQN减少过估计，通过Dueling DQN实现状态值与优势值的分解，通过噪声DQN引入参数噪声以提升探索。
• 通过分类DQN（学习回报分布）和QR-DQN（使用分位数回归）引入分布式强化学习，两者均提升了价值估计的准确性。
• 采用优先经验回放，聚焦于高影响转移；并采用多步时序差分学习，以获得更准确的回报估计。
• 在策略梯度方法中应用广义优势估计（GAE）和信任区域优化原理，最终形成基于截断策略更新的PPO。
• 在Pong环境中开展受控实验，利用壁钟时间与交互步数比较不同算法的训练动态与性能表现。

实验结果

研究问题

• RQ1 DQN的单个改进（如双重DQN、Dueling DQN、优先经验回放）在Atari游戏上的样本效率和最终性能方面有何贡献？
• RQ2 与标准DQN相比，分布式强化学习（Categorical DQN、QR-DQN）在学习稳定性和最终智能体性能方面的实证影响是什么？
• RQ3 A2C和PPO等策略梯度方法与基于价值的方法相比，在训练速度、样本效率和对超参数选择的鲁棒性方面表现如何？
• RQ4 为何Rainbow DQN中多项DQN改进的组合能带来更优性能，尽管计算成本更高？
• RQ5 启发式组件（如噪声生成、优先经验回放）在多大程度上提升了训练稳定性？其理论依据是否充分？

主要发现

• 近端策略优化（PPO）在约30分钟的壁钟时间内即在Pong上达到人类水平性能，且无需任何超参数调优，其训练速度优于所有基于价值的方法。
• Rainbow DQN结合了所有主要DQN改进，在Pong上实现了最高最终性能，但训练时间超过3.5小时，表明其性能增益以显著的计算成本为代价。
• 分布式方法（Categorical DQN和QR-DQN）在样本效率和最终性能方面优于标准DQN，但其性能提升的理论原因尚不明确。
• 尽管未使用经验回放，PPO生成的策略梯度仍优于基于DQN的方法，表明经验回放中可能包含大量冗余或无信息的转移。
• Rainbow DQN中的优先经验回放与噪声注入导致训练过程更不稳定，表明性能提升与训练一致性之间可能存在权衡。
• 训练曲线显示，加速技术（如使用A2C或PPO）相比原始DQN和Rainbow DQN显著减少了壁钟时间，其中PPO是所有评估算法中最快的。