[论文解读] Coordinated Exploration in Concurrent Reinforcement Learning

Maria Dimakopoulou, Benjamin Van Roy|arXiv (Cornell University)|Feb 5, 2018

Advanced Bandit Algorithms Research参考文献 12被引用 3

一句话总结

本文提出种子采样（seed sampling），一种强化学习后验采样（posterior sampling）的新型扩展，可在多智能体并发学习中实现高效的协同探索。通过采样一个共享种子来生成马尔可夫决策过程（MDP），智能体在保持探索路径一致性的同时，能够适应共享数据并确保行为多样性，与汤普森重采样（Thompson resampling）和基于UCRL的方法相比，显著降低了每个智能体的遗憾值（regret）。

ABSTRACT

We consider a team of reinforcement learning agents that concurrently learn to operate in a common environment. We identify three properties - adaptivity, commitment, and diversity - which are necessary for efficient coordinated exploration and demonstrate that straightforward extensions to single-agent optimistic and posterior sampling approaches fail to satisfy them. As an alternative, we propose seed sampling, which extends posterior sampling in a manner that meets these requirements. Simulation results investigate how per-agent regret decreases as the number of agents grows, establishing substantial advantages of seed sampling over alternative exploration schemes.

研究动机与目标

• 解决后验采样和上置信界（UCB）方法在多智能体强化学习中简单扩展的局限性。
• 识别并满足高效探索的三个关键属性：对共享观测的适应性、对探索序列的承诺性，以及智能体间的行为多样性。
• 设计一种可扩展且鲁棒的探索机制，其在遗憾最小化方面优于现有并发强化学习算法。
• 证明种子采样可实现更快的收敛速度和更优的样本效率，适用于多智能体环境。

提出的方法

• 智能体在学习开始时采样一个共享随机种子，该种子用于从当前后验分布生成随机MDP模型。
• 每个智能体的MDP通过种子和确定性映射构建，确保时间上探索路径的一致性，同时通过独立种子采样保持多样性。
• 通过在整个回合（episode）中固定MDP模型，该方法维持了承诺性，避免在每个时间步进行破坏性的重采样。
• 适应性通过使用所有智能体收集的数据更新MDP参数的后验分布来实现，从而为未来的基于种子的MDP采样提供依据。
• 提出了两种特定的种子采样变体：标准正态分布（standard-Gaussian）和鞅正态分布（martingalean-Gaussian），分别适用于不同的先验和似然假设。
• 通过将探索多样性与时间相关随机性解耦，该方法将PSRL推广至并发设置，实现了稳定且协同的学习。

实验结果

研究问题

• RQ1 在智能体并发学习并共享数据时，多智能体强化学习如何实现高效探索？
• RQ2 为何后验采样和UCB的标准扩展在并发设置中无法有效协调探索？
• RQ3 为实现多智能体强化学习中遗憾的减少，协同探索需要哪些关键属性？
• RQ4 与汤普森重采样和并发UCRL相比，种子机制能否改善遗憾衰减速率？
• RQ5 种子采样如何在并发学习中同时维持适应性、承诺性和多样性？

主要发现

• 在最大奖励路径问题中，种子采样在10,000个智能体和H=10的时域下，实现了所有评估算法中最低的累积遗憾值。
• 尽管满足了承诺性，但并发UCRL的累积遗憾比种子采样高出49.9%，原因是缺乏行为多样性。
• 汤普森重采样的累积遗憾比种子采样高出191%，原因是缺乏承诺性以及频繁的破坏性重采样。
• 种子采样的遗憾衰减速率在各类问题实例中均表现稳健，而其他方法在某些环境中表现出显著更慢的衰减速度。
• 标准正态分布和鞅正态分布两种种子采样变体均优于其他方法，证实了种子机制的有效性。
• 仿真结果表明，种子采样使智能体能够在保持一致性的前提下探索多样化路径，从而加速收敛至最优策略。