[论文解读] An Efficient Transfer Learning Framework for Multiagent Reinforcement Learning

Tianpei Yang, Weixun Wang+10 more|arXiv (Cornell University)|Feb 19, 2020

Reinforcement Learning in Robotics被引用 10

一句话总结

该论文提出了一种多智能体策略迁移框架（MAPTF），将智能体间的策略迁移建模为选项学习问题，以提升多智能体强化学习的效率。通过使用后继表示选项（SRO）学习来处理部分可观测性下的不一致本地经验，MAPTF能够自适应地选择和终止策略复用，在结合现有深度强化学习方法时，显著提升了离散和连续环境中的性能。

ABSTRACT

Transfer Learning has shown great potential to enhance single-agent Reinforcement Learning (RL) efficiency. Similarly, Multiagent RL (MARL) can also be accelerated if agents can share knowledge with each other. However, it remains a problem of how an agent should learn from other agents. In this paper, we propose a novel Multiagent Policy Transfer Framework (MAPTF) to improve MARL efficiency. MAPTF learns which agent's policy is the best to reuse for each agent and when to terminate it by modeling multiagent policy transfer as the option learning problem. Furthermore, in practice, the option module can only collect all agent's local experiences for update due to the partial observability of the environment. While in this setting, each agent's experience may be inconsistent with each other, which may cause the inaccuracy and oscillation of the option-value's estimation. Therefore, we propose a novel option learning algorithm, the successor representation option learning to solve it by decoupling the environment dynamics from rewards and learning the option-value under each agent's preference. MAPTF can be easily combined with existing deep RL and MARL approaches, and experimental results show it significantly boosts the performance of existing methods in both discrete and continuous state spaces.

研究动机与目标

• 为解决多智能体强化学习（MARL）中多个智能体之间知识迁移效率低下的挑战。
• 克服由于多智能体环境中的部分可观测性导致的不一致本地经验所引发的不稳定性和不准确性。
• 开发一种自适应、可扩展的策略迁移框架，能够动态选择复用哪个智能体的策略以及何时终止该策略。
• 实现与现有深度强化学习和MARL算法的无缝集成，以实现广泛适用性。
• 通过合理的策略迁移，提升离散和连续状态空间中的样本效率和学习速度。

提出的方法

• MAPTF将多智能体策略迁移建模为选项学习问题，其中每个智能体学习选择并利用其他智能体的策略作为选项。
• 引入终止概率机制，通过判断何时停止复用已迁移的策略来防止负面迁移。
• 为解决部分可观测性下的不一致本地经验问题，MAPTF采用后继表示选项（SRO）学习，该方法将环境动态与奖励解耦，并在每个智能体的个体偏好下学习选项价值。
• SRO算法学习一种后继表示，以捕捉在每个智能体策略下状态访问的模式，从而在经验差异较大的情况下仍能实现稳健的选项价值估计。
• 该框架采用加权策略模仿目标，并引入时间衰减因子 $ f(t) = 0.5 + \tanh(3 - \mu t)/2 $，使策略迁移随智能体经验积累而逐渐减弱。
• MAPTF与现有MARL和深度强化学习算法兼容，支持即插即用式集成以提升性能。

实验结果

研究问题

• RQ1 如何在多智能体强化学习中实现高效且自适应的知识迁移？
• RQ2 在部分可观测性导致智能体经验不一致的情况下，应采用何种机制以确保选项价值估计的稳定与准确？
• RQ3 如何动态控制策略迁移，以避免负面迁移同时最大化学习效率？
• RQ4 能否设计一种与现有深度强化学习和MARL算法兼容的迁移框架，而无需修改网络架构？
• RQ5 自适应策略迁移在多大程度上能提升离散和连续状态空间中的样本效率与性能？

主要发现

• MAPTF在离散和连续状态空间环境中的现有MARL方法上显著提升了学习性能。
• 后继表示选项（SRO）学习有效缓解了部分可观测设置下因不一致本地经验导致的选项价值估计不稳定与不准确问题。
• 结合时间衰减加权因子的自适应迁移机制减少了负面迁移，并提高了收敛稳定性。
• 与基线方法（如DVM、LTCR和PAT）相比，该框架实现了更高的样本效率和更快的收敛速度。
• MAPTF展现出强大的泛化能力和兼容性，可无缝集成到多种深度强化学习和MARL算法中。
• 实验结果表明，MAPTF在复杂且部分可观测的环境中，优于现有的迁移学习基线方法。