[论文解读] A General Learning Framework for Open Ad Hoc Teamwork Using Graph-based Policy Learning

Arrasy Rahman, Ignacio Carlucho+2 more|arXiv (Cornell University)|Oct 11, 2022

Reinforcement Learning in Robotics被引用 4

一句话总结

本文提出图神经网络驱动的策略学习（GPL），一种用于开放动态团队协作的通用框架，通过图神经网络处理可变团队规模和部分可观测性问题。该方法通过推断队友类型、预测动作并利用图神经网络建模联合动作价值，实现了在完全可观测和部分可观测环境下的优越性能。

ABSTRACT

Open ad hoc teamwork is the problem of training a single agent to efficiently collaborate with an unknown group of teammates whose composition may change over time. A variable team composition creates challenges for the agent, such as the requirement to adapt to new team dynamics and dealing with changing state vector sizes. These challenges are aggravated in real-world applications in which the controlled agent only has a partial view of the environment. In this work, we develop a class of solutions for open ad hoc teamwork under full and partial observability. We start by developing a solution for the fully observable case that leverages graph neural network architectures to obtain an optimal policy based on reinforcement learning. We then extend this solution to partially observable scenarios by proposing different methodologies that maintain belief estimates over the latent environment states and team composition. These belief estimates are combined with our solution for the fully observable case to compute an agent's optimal policy under partial observability in open ad hoc teamwork. Empirical results demonstrate that our solution can learn efficient policies in open ad hoc teamwork in fully and partially observable cases. Further analysis demonstrates that our methods' success is a result of effectively learning the effects of teammates' actions while also inferring the inherent state of the environment under partial observability.

研究动机与目标

• 解决单一智能体在开放动态团队协作场景中与动态变化的队友协作的训练挑战。
• 克服现有动态团队协作方法中固定输入模型和静态团队构成假设的局限性。
• 开发一个统一框架，适用于完全可观测和部分可观测环境下的可变团队规模。
• 通过维护对潜在状态和队友构成的信念估计，实现在部分可观测性下的高效策略学习。
• 证明图神经网络在建模可变规模多智能体交互以支持策略学习方面的有效性。

提出的方法

• 使用图神经网络（GNNs）建模队友类型、动作和联合动作价值，实现对动态团队构成下可变输入大小的处理。
• 采用粒子滤波器实现信念更新机制，以在部分可观测性下维持对潜在环境状态和队友策略的估计。
• 将队友类型推断、动作预测和联合动作价值建模整合到统一的GNN-based策略网络（GPL）中。
• 使用时序差分误差（TD error）与负对数似然损失的组合进行训练，以优化动作预测和信念估计。
• 在训练过程中，通过在潜在状态（z）上进行蒙特卡洛采样，近似难以计算的信念分布。
• 采用多组件架构，包含分别用于智能体建模、价值预测和策略输出的独立头，所有组件均基于GNN处理的图表示。

实验结果

研究问题

• RQ1 通用学习框架能否在完全可观测条件下有效处理可变团队规模的开放动态团队协作？
• RQ2 当队友行为和构成未知且动态变化时，单一智能体如何学习适应其策略？
• RQ3 图神经网络在开放协作场景中对可变规模多智能体交互的建模程度如何，能否有效支持策略学习？
• RQ4 信念估计的集成在部分可观测性下的开放动态团队协作中如何提升策略性能？
• RQ5 所提出的框架能否在完全可观测和部分可观测环境中，泛化到具有多样化未知策略的未见队友？

主要发现

• GPL框架在开放动态团队协作环境中，相较于基于值函数和多智能体强化学习的基线方法，实现了显著更高的回报。
• 该方法成功在训练期间未见过的队友情况下，仍能推断队友类型并预测动作，展现出强大的泛化能力。
• 在部分可观测性设置下，基于粒子滤波器的信念估计通过保持准确的潜在状态表示，实现了有效的策略学习。
• 实证结果表明，该框架的成功源于对队友动作影响的有效建模以及对环境隐藏状态的准确推断。
• 图神经网络的使用使模型能够处理由动态团队构成导致的可变大小输入向量，克服了标准函数逼近器的关键局限。
• 该框架在使用不同随机种子训练的未见队友上表现出良好的泛化能力，证实了其对开放团队中策略多样性的鲁棒性。