[论文解读] How to Make Deep RL Work in Practice

N. Lakshmana Rao, Elie Aljalbout+2 more|arXiv (Cornell University)|Oct 25, 2020

Reinforcement Learning in Robotics参考文献 25被引用 7

一句话总结

本文研究了关键的实现细节——权重初始化、输入归一化和自适应学习技术——这些因素对深度强化学习（RL）性能有显著影响。结果表明，正交初始化、优势归一化和KL截断等技术对于PPO等算法实现稳定且样本高效的训练至关重要，并提供了实证指导，以在连续控制基准测试中实现可复现的、最先进的性能结果。

ABSTRACT

In recent years, challenging control problems became solvable with deep reinforcement learning (RL). To be able to use RL for large-scale real-world applications, a certain degree of reliability in their performance is necessary. Reported results of state-of-the-art algorithms are often difficult to reproduce. One reason for this is that certain implementation details influence the performance significantly. Commonly, these details are not highlighted as important techniques to achieve state-of-the-art performance. Additionally, techniques from supervised learning are often used by default but influence the algorithms in a reinforcement learning setting in different and not well-understood ways. In this paper, we investigate the influence of certain initialization, input normalization, and adaptive learning techniques on the performance of state-of-the-art RL algorithms. We make suggestions which of those techniques to use by default and highlight areas that could benefit from a solution specifically tailored to RL.

研究动机与目标

• 通过识别显著影响性能的实现细节，解决深度强化学习中的可复现性危机。
• 研究监督学习中常用的技术（在RL中通常默认使用）对学习稳定性与收敛性的影响。
• 为实践者提供实证指导，明确在可靠训练中应使用哪些权重初始化、归一化和自适应学习方法。
• 强调某些实现选择（如KL截断和优势归一化）对PPO实现稳定学习至关重要。
• 通过倡导公开披露影响性能的完整实现细节，推动强化学习研究的透明化。

提出的方法

• 在连续控制基准测试（如Half-Cheetah、Ant、Walker2d）上，对最先进的RL算法（PPO、TD3、SAC）进行受控的消融研究。
• 评估不同权重初始化方案的影响：Xavier、Kaiming、LeCun和Orthogonal，重点关注初始动作分布和早期探索行为。
• 在策略网络和价值网络上测试输入归一化（如运行均值和方差），比较不同算法的性能表现。
• 在PPO中研究自适应学习技术：学习率调度（LRS）、优势归一化（AN）、KL截断（KL-Cutoff）、KL停止（KL-Stopping）、梯度裁剪。
• 使用统计显著性检验和置信区间验证不同配置之间的性能差异。
• 开源完整的实现和评估流程，以确保可复现性并支持社区复用。

实验结果

研究问题

• RQ1 不同的神经网络权重初始化方案如何影响深度强化学习中的初始动作分布和早期探索？
• RQ2 输入归一化在不同深度强化学习算法中（尤其是基于Q-learning的算法，如TD3、SAC，与基于策略梯度的算法，如PPO、TRPO）的性能提升程度如何？
• RQ3 在PPO中，哪些自适应学习技术——学习率调度、优势归一化、KL剪裁——对于实现稳定且样本高效的训练是必不可少的？
• RQ4 为何常用的基线方法（如OpenAI Baselines）无法实现最优性能？缺少了哪些实现细节？
• RQ5 学习率调度、优势归一化和KL截断等自适应技术的组合是否能持续维持期望的KL散度阈值，并提升最终性能？

主要发现

• 正交初始化在所有评估的算法和环境中均显著优于其他初始化方案，提供了最稳定且样本高效的训练。
• 输入归一化显著提升了TRPO的性能，但在基于Q-learning的算法（如TD3和SAC）中无益处，甚至可能降低性能。
• PPO在缺乏自适应技术时无法学习：若无学习率调度和优势归一化，在大多数环境中均未观察到学习进展。
• KL截断是唯一能成功维持期望KL散度阈值（0.01）的技术，其性能达到或优于调整后的基线；而KL停止则增加了平均KL值并延缓了学习。
• 优势归一化可过滤KL散度的训练峰值，学习率调度可降低平均KL值，二者的结合实现了最稳定的训练。
• 学习率调度、优势归一化和KL截断的组合在PPO中实现了最佳最终性能，表明这些技术并非可选，而是实现可靠训练的必要组成部分。