[论文解读] Differentiable Trust Region Layers for Deep Reinforcement Learning

Fabian Otto, Philipp Becker+3 more|arXiv (Cornell University)|Jan 22, 2021

Reinforcement Learning in Robotics参考文献 30被引用 6

一句话总结

本文提出了一种用于深度强化学习的可微信任区域投影层，通过基于KL散度、Wasserstein L2距离和Frobenius范数的闭式投影，实现基于状态的策略约束。该方法在性能上与PPO和TRPO相当或更优，同时更加稳定且对实现细节不敏感，在稀疏奖励控制任务中得到实证验证。

ABSTRACT

Trust region methods are a popular tool in reinforcement learning as they yield robust policy updates in continuous and discrete action spaces. However, enforcing such trust regions in deep reinforcement learning is difficult. Hence, many approaches, such as Trust Region Policy Optimization (TRPO) and Proximal Policy Optimization (PPO), are based on approximations. Due to those approximations, they violate the constraints or fail to find the optimal solution within the trust region. Moreover, they are difficult to implement, often lack sufficient exploration, and have been shown to depend on seemingly unrelated implementation choices. In this work, we propose differentiable neural network layers to enforce trust regions for deep Gaussian policies via closed-form projections. Unlike existing methods, those layers formalize trust regions for each state individually and can complement existing reinforcement learning algorithms. We derive trust region projections based on the Kullback-Leibler divergence, the Wasserstein L2 distance, and the Frobenius norm for Gaussian distributions. We empirically demonstrate that those projection layers achieve similar or better results than existing methods while being almost agnostic to specific implementation choices. The code is available at https://git.io/Jthb0.

研究动机与目标

• 解决现有信任区域方法在深度强化学习中存在不稳定性和对实现细节敏感的问题。
• 对高斯策略实现精确的、与状态相关的信任区域约束，以保证单调改进。
• 开发可微的神经网络层，通过闭式解将策略更新投影到信任区域。
• 评估不同相似性度量（KL散度、Wasserstein L2距离和Frobenius范数）对策略优化的影响。
• 证明通过惩罚回归实现的信任区域投影近似可有效逼近精确投影，同时降低计算成本。

提出的方法

• 提出可微的神经网络层，利用高斯分布的闭式解，将更新后的策略投影到由旧策略定义的信任区域。
• 采用三种相似性度量：Kullback-Leibler散度、Wasserstein L2距离和Frobenius范数，以定义信任区域。
• 引入带惩罚项的信任区域回归损失，使投影后的策略尽可能接近旧策略，从而近似精确的信任区域更新。
• 采用基于惩罚的优化而非完整的迭代投影，使训练可在标准深度学习框架中高效进行。
• 扩展框架以引入熵控制，提升在挑战性环境中的探索能力。
• 将这些层集成到在线策略训练流程中，与现有强化学习算法（如PPO）无缝结合。

实验结果

研究问题

• RQ1 可微信任区域层是否能比仅约束期望策略变化的现有方法实现更紧致、基于状态的策略约束？
• RQ2 不同相似性度量（KL散度、Wasserstein L2距离和Frobenius范数）对策略优化和最终性能有何影响？
• RQ3 基于惩罚的投影近似在多大程度上保持了约束执行和训练稳定性？
• RQ4 所提出的层是否能在探索至关重要的稀疏奖励环境中提升性能？
• RQ5 与PPO和TRPO相比，该方法对实现层面超参数的敏感性如何？

主要发现

• 信任区域层在多个MuJoCo环境中达到与PPO和TRPO相当或更优的性能，尤其在稀疏奖励设置下表现突出。
• 基于KL的投影性能最佳，但需要数值优化；基于Wasserstein L2的投影对超参数选择更具鲁棒性且计算更快。
• 基于Frobenius范数的投影在协方差接近收敛时变得极小，导致数值不稳定性，限制了其有效性。
• 在稀疏奖励的5连杆Reachere环境中，所提方法显著优于基线方法，尤其在使用上下文协方差时。
• 基于惩罚的回归近似能有效维持信任区域约束，并在无需完整迭代投影的情况下实现稳定训练。
• 与PPO相比，该方法对实现细节的依赖更小，表现为对奖励缩放、裁剪和价值函数归一化等操作的敏感性降低。