[论文解读] Coordinated Exploration via Intrinsic Rewards for Multi-Agent Reinforcement Learning

Shariq Iqbal, Fei Sha|arXiv (Cornell University)|May 28, 2019

Reinforcement Learning in Robotics参考文献 34被引用 34

一句话总结

论文引入能协调多智能体探索的内在奖励，能够并行学习多种探索策略，使用共享回放缓冲区，并利用元策略在稀疏协作任务中动态选择策略以最大化外部奖励。

ABSTRACT

Solving tasks with sparse rewards is one of the most important challenges in reinforcement learning. In the single-agent setting, this challenge is addressed by introducing intrinsic rewards that motivate agents to explore unseen regions of their state spaces; however, applying these techniques naively to the multi-agent setting results in agents exploring independently, without any coordination among themselves. Exploration in cooperative multi-agent settings can be accelerated and improved if agents coordinate their exploration. In this paper we introduce a framework for designing intrinsic rewards which consider what other agents have explored such that the agents can coordinate. Then, we develop an approach for learning how to dynamically select between several exploration modalities to maximize extrinsic rewards. Concretely, we formulate the approach as a hierarchical policy where a high-level controller selects among sets of policies trained on diverse intrinsic rewards and the low-level controllers learn the action policies of all agents under these specific rewards. We demonstrate the effectiveness of the proposed approach in cooperative domains with sparse rewards where state-of-the-art methods fail and challenging multi-stage tasks that necessitate changing modes of coordination.

研究动机与目标

• 通过在智能体之间实现协调探索来解决稀疏奖励的合作型多智能体强化学习问题。
• 提出能够考虑其他智能体探索区域的内在奖励函数。
• 使用共享回放缓冲区并行学习多种探索策略，以提高样本效率。
• 开发一个元策略，动态在不同探索模式之间选择，以最大化外部奖励。

提出的方法

• 定义取决于跨所有智能体观测的新颖性程度的多智能体内在奖励。
• 描述适用于协同友好型内在奖励的期望特性（按坐标的单调性和向内导向性）。
• 并行训练多种策略，每个策略使用不同类型的内在奖励，采用共享回放缓冲区和离策略的SAC变体。
• 采用分层结构，其中高层的元策略在使用不同内在奖励训练的策略之间进行选择，以最大化外部回报。
• 为外部奖励和内在奖励同时建立策略梯度和Q函数目标，采用跨头结构，在各奖励类型之间共享基础网络。
• 训练带熵项的元策略，以维持跨奖励类型的探索。

实验结果

研究问题

• RQ1 通过多智能体内在奖励协调探索，是否能提升稀疏奖励合作任务的性能？
• RQ2 元策略是否能在多种探索模式之间有效切换以最大化外部奖励？
• RQ3 在多智能体设置中，适应性、协同的探索策略是否优于固定或天真适配？
• RQ4 通过共享回放缓冲区共享数据对多种内在奖励类型的样本效率有何影响？

主要发现

• 跨智能体协调的多智能体内在奖励在若干任务中优于独立的内在探索。
• 自适应方法在相同样本预算下达到或超过非自适应的oracle（最佳固定奖励类型）。
• 在需要改变协同策略的任务中，自适应方法优于所有固定奖励函数。
• 元策略平衡探索与利用，防止收敛到单一探索类型。
• 自适应策略在需要不同协调的任务中显示出优势（如 Task 3 和 Flip-Task）。
• 该方法在 Gridworld 和 VizDoom 域中均有效。