[论文解读] Concurrent Meta Reinforcement Learning

Emilio Parisotto, Soham Ghosh+4 more|arXiv (Cornell University)|Mar 7, 2019

Reinforcement Learning in Robotics参考文献 24被引用 14

一句话总结

本文提出并发元强化学习（CMRL），一种并行多智能体框架，通过使智能体能够通信并协调探索，提升了少样本强化学习中的样本效率。通过将长时程信用分配问题转化为多智能体协调问题，CMRL在复杂、部分可观测环境中（尤其是高维状态空间）展现出优于顺序方法（如ERL2）的探索能力与更快的适应速度。

ABSTRACT

State-of-the-art meta reinforcement learning algorithms typically assume the setting of a single agent interacting with its environment in a sequential manner. A negative side-effect of this sequential execution paradigm is that, as the environment becomes more and more challenging, and thus requiring more interaction episodes for the meta-learner, it needs the agent to reason over longer and longer time-scales. To combat the difficulty of long time-scale credit assignment, we propose an alternative parallel framework, which we name "Concurrent Meta-Reinforcement Learning" (CMRL), that transforms the temporal credit assignment problem into a multi-agent reinforcement learning one. In this multi-agent setting, a set of parallel agents are executed in the same environment and each of these "rollout" agents are given the means to communicate with each other. The goal of the communication is to coordinate, in a collaborative manner, the most efficient exploration of the shared task the agents are currently assigned. This coordination therefore represents the meta-learning aspect of the framework, as each agent can be assigned or assign itself a particular section of the current task's state space. This framework is in contrast to standard RL methods that assume that each parallel rollout occurs independently, which can potentially waste computation if many of the rollouts end up sampling the same part of the state space. Furthermore, the parallel setting enables us to define several reward sharing functions and auxiliary losses that are non-trivial to apply in the sequential setting. We demonstrate the effectiveness of our proposed CMRL at improving over sequential methods in a variety of challenging tasks.

研究动机与目标

• 解决顺序元强化学习方法在复杂环境中面临的可扩展性限制，这些方法在长时程信用分配任务中表现不佳。
• 通过多智能体通信实现并行协调探索，提升少样本强化学习中的样本效率。
• 设计仅在并发多智能体设置下可行的新奖励共享机制与辅助损失。
• 通过并行轨迹 rollout 缩短有效元学习时长，减少元优化过程中对长时反向传播的依赖。
• 证明并发执行与通信可带来比顺序方法更丰富且高效的探索。

提出的方法

• 该框架使用多个并行轨迹生成智能体，它们与同一环境交互，并通过共享通信协议协调探索。
• 每个智能体被分配探索状态空间的特定区域，通信使它们能共享关于有前景区域的信息，避免冗余采样。
• 该方法结合了多种奖励共享方案，如 Max-Until-Exploit 和 StDev-Until-Exploit，旨在鼓励高风险探索，同时保留外部奖励信号。
• 引入了发散辅助损失，以促进智能体间行为多样性，防止过早收敛，提升探索效率。
• 元学习组件嵌入通信协议中，智能体基于共享经验学习协调其探索策略。
• 框架采用 A2C 风格的策略优化并结合熵正则化，通信通过注意力机制或消息传递层实现。

实验结果

研究问题

• RQ1 与顺序方法相比，并发多智能体框架是否能提升元强化学习中的样本效率？
• RQ2 在部分可观测环境中，并行智能体间的通信如何影响探索多样性与收敛速度？
• RQ3 专为并发执行设计的新型奖励共享方案是否在长时程任务中优于传统顺序奖励塑造方法？
• RQ4 如发散正则化等辅助损失在提升元学习器性能方面有何贡献？
• RQ5 并发设置是否减少了对长时反向传播的依赖，从而提升训练稳定性？

主要发现

• CMRL 在 4 手臂 Reacher 环境中显著优于 ERL2，探索效率更高，访问的独特目标位置多出 30%，高奖励区域的访问频率提升 40%。
• Max+StDev-Until-Exploit 奖励方案的混合形式性能与单一方案相当，展现出对超参数调优的鲁棒性。
• 移除奖励共享机制后性能下降，但 CMRL 仍优于 ERL2，原因在于发散辅助损失促进了探索多样性。
• 若移除发散辅助损失，利用性能急剧下降，最终回报接近零，表明其在维持有效探索中起着关键作用。
• 采用 Max-Until-Exploit 的 CMRL 在无辅助损失时仍能实现最优探索策略，表明通过更优的熵超参数调优可恢复性能。
• 在 10-Monty-Hall 环境中，CMRL 在所有组件完整时达到最高利用回报，证明了通信、奖励共享与辅助损失之间的协同效应。