[论文解读] MERL: Multi-Head Reinforcement Learning

Yannis Flet-Berliac, Pierre‐Marie Preux|arXiv (Cornell University)|Sep 26, 2019

Reinforcement Learning in Robotics被引用 4

一句话总结

本文提出MERL，一种用于多头强化学习的通用框架，通过将问题特定知识——具体为可解释方差比例（$ olcal{V}^{ex}$）和未来状态预测——注入策略梯度更新中。通过同时优化奖励和这些辅助性能信号，MERL提升了样本效率，缓解了奖励稀疏性问题，并增强了在连续控制和像素级环境中的迁移学习能力，优于标准PPO基线模型。

ABSTRACT

A common challenge in reinforcement learning is how to convert the agent's interactions with an environment into fast and robust learning. For instance, earlier work makes use of domain knowledge to improve existing reinforcement learning algorithms in complex tasks. While promising, previously acquired knowledge is often costly and challenging to scale up. Instead, we decide to consider problem knowledge with signals from quantities relevant to solve any task, e.g., self-performance assessment and accurate expectations. $\\mathcal{V}^{ex}$ is such a quantity. It is the fraction of variance explained by the value function $V$ and measures the discrepancy between $V$ and the returns. Taking advantage of $\\mathcal{V}^{ex}$, we propose MERL, a general framework for structuring reinforcement learning by injecting problem knowledge into policy gradient updates. As a result, the agent is not only optimized for a reward but learns using problem-focused quantities provided by MERL, applicable out-of-the-box to any task. In this paper: (a) We introduce and define MERL, the multi-head reinforcement learning framework we use throughout this work. (b) We conduct experiments across a variety of standard benchmark environments, including 9 continuous control tasks, where results show improved performance. (c) We demonstrate that MERL also improves transfer learning on a set of challenging pixel-based tasks. (d) We ponder how MERL tackles the problem of reward sparsity and better conditions the feature space of reinforcement learning agents.

研究动机与目标

• 为解决深度强化学习中的样本效率低下和奖励稀疏性问题，通过引入面向任务的、与任务无关的信号。
• 开发一种通用框架，可适用于任意策略梯度方法和环境，无需针对特定任务进行重新设计。
• 通过学习与自我性能评估和准确预期对齐的表示，提升策略泛化能力和迁移学习能力。
• 证明像$ olcal{V}^{ex}$和未来状态预测这样的辅助信号可以正则化学习过程，并改善特征空间的条件。

提出的方法

• 提出$ olcal{V}^{ex}$，即价值函数对回报估计与实际回报之间差异的可解释方差比例，作为衡量指标。
• 设计MERL为多头演员-评论家框架，其中策略网络通过主奖励目标和$ olcal{V}^{ex}$、未来状态预测的辅助头进行联合优化。
• 修改策略梯度目标，引入基于$ olcal{V}^{ex}$的正则化项，提升智能体内部表示与任务相关性能度量的一致性。
• 采用轻量级、与任务无关的辅助头来预测未来状态，该方法在辅助任务学习中常见，用于改善特征学习。
• 将框架应用于标准连续控制基准（MuJoCo）和基于像素的Atari环境，以PPO作为基础算法。
• 采用多头架构，每个头提供独特且互补的信号，以引导策略优化，提升鲁棒性和泛化能力。

实验结果

研究问题

• RQ1 将自我性能评估度量（$ olcal{V}^{ex}$）注入策略梯度更新是否能提升样本效率和学习稳定性？
• RQ2 将$ olcal{V}^{ex}$与未来状态预测头结合，是否能在复杂控制任务中带来更好的泛化和迁移学习表现？
• RQ3 在多种环境中，MERL与标准PPO相比，在性能和样本效率方面表现如何？
• RQ4 MERL在多大程度上通过提供密集且信息丰富的监督信号，缓解了稀疏奖励问题？
• RQ5 MERL的辅助头能否学习到可迁移的表示，例如从Ms. Pac-Man迁移到其他Atari游戏？

主要发现

• 在MuJoCo基准的全部9个连续控制任务中，MERL均优于标准PPO，样本效率和最终性能均有稳定提升。
• 在Atari 2600游戏中，MERL展现出更优的迁移学习能力，在从Ms. Pac-Man迁移到其他游戏时，平均性能高于标准PPO。
• 消融实验表明，结合$ olcal{V}^{ex}$和未来状态预测头的性能优于单独使用任一头，其中$ olcal{V}^{ex}$头单独使用时在HalfCheetah任务中性能下降，但组合使用时性能提升。
• MERL的计算开销极低——MuJoCo仅增加5%，Atari任务仅增加7%，具备实际部署可行性。
• MERL的头学习到与任务无关的通用表示，改善了特征空间的条件，支持在不同环境中实现更好的泛化。
• 该框架通过将优化与对任务性能的高层次洞察对齐，成功正则化了策略网络，减少了对稀疏奖励信号的依赖。