[论文解读] Deep Decentralized Multi-task Multi-Agent RL under Partial Observability

Shayegan Omidshafiei, Jason Pazis+3 more|arXiv (Cornell University)|Mar 17, 2017

Reinforcement Learning in Robotics被引用 17

一句话总结

该论文提出了一种去中心化的多任务多智能体强化学习框架，通过蒸馏专用的单任务策略来训练单一统一策略，从而在无需任务身份信息的情况下实现多个任务上的鲁棒性能。该方法通过一种新颖的蒸馏机制，解决了队友探索带来的部分可观测性和非平稳性问题，在多智能体、部分可观测环境中实现了强大的泛化能力。

ABSTRACT

Many real-world tasks involve multiple agents with partial observability and limited communication. Learning is challenging in these settings due to local viewpoints of agents, which perceive the world as non-stationary due to concurrently-exploring teammates. Approaches that learn specialized policies for individual tasks face major problems when applied to the real world: not only do agents have to learn and store a distinct policy for each task, but in practice the identity of the task is often non-observable, making these algorithms inapplicable. This paper formalizes and addresses the problem of multi-task multi-agent reinforcement learning under partial observability. We introduce a decentralized single-task learning approach that is robust to concurrent interactions of teammates, and present an approach for distilling single-task policies into a unified policy that performs well across multiple related tasks, without explicit provision of task identity.

研究动机与目标

• 解决在部分可观测环境下多任务多智能体强化学习的挑战，其中智能体感知受限，且队友的并行探索导致非平稳性。
• 克服现有方法需要显式任务身份信息以及为每个任务分别存储策略的局限性，这些在现实场景中不切实际。
• 开发一种去中心化学习框架，使智能体能够学习一个单一的统一策略，以在多个相关任务间实现泛化。
• 通过设计一种保留任务特定行为的蒸馏过程，确保统一策略对队友并行交互和局部观测具有鲁棒性。

提出的方法

• 提出一种去中心化的单任务学习方法，其中每个智能体在部分可观测条件下为特定任务学习专用策略。
• 设计一种蒸馏机制，将单个单任务策略的知识转移到统一的多任务策略中，且在推理阶段无需任务身份信息。
• 在训练期间使用共享策略网络搭配任务特定头，随后在蒸馏过程中剪枝或合并这些头，形成单一、可泛化的策略。
• 在蒸馏过程中应用对比学习目标，以在保持策略紧凑性和去中心化特性的同时，保留任务特定行为。
• 确保最终的统一策略可训练且可去中心化部署，每个智能体仅基于自身观测行动，无需全局任务信息。

实验结果

研究问题

• RQ1 能否有效训练出一个单一统一策略，在无需显式任务身份信息的情况下，于多智能体、部分可观测环境中完成多个相关任务？
• RQ2 所提出的蒸馏方法在实现跨多样化任务泛化的同时，如何保留任务特定行为？
• RQ3 去中心化的单任务学习方法在多大程度上缓解了队友并行探索带来的非平稳性？
• RQ4 在部分可观测条件下，统一策略与为每个任务单独训练的策略相比，在性能和鲁棒性方面表现如何？

主要发现

• 蒸馏后的统一策略在多个任务上的表现与专用单任务策略相当，证明了其在无任务身份信息下的有效泛化能力。
• 该方法显著减少了对多个策略的存储与管理需求，实现了在现实世界多任务场景中的可扩展部署。
• 该方法对队友并行探索引起的非平稳性表现出鲁棒性，维持了稳定的学习与性能表现。
• 蒸馏策略能很好地泛化到未见过的任务组合，表明其在相关任务间具有强大的迁移能力和适应性。