[논문 리뷰] A General Learning Framework for Open Ad Hoc Teamwork Using Graph-based Policy Learning

Arrasy Rahman, Ignacio Carlucho외 2명|arXiv (Cornell University)|2022. 10. 11.

Reinforcement Learning in Robotics인용 수 4

한 줄 요약

이 논문은 그래프 신경망을 사용하여 가변적인 팀 규모와 부분 관찰 가능성을 다루는, 개방형 임시 팀워크를 위한 일반적인 프레임워크인 그래프 기반 정책 학습(GPL)을 제안한다. GNN을 통해 동료 유형을 추론하고 행동을 예측하며 공동 행동 가치를 모델링함으로써, 완전 관찰 및 부분 관찰 환경 모두에서 기존의 기준들보다 뛰어난 성능을 달성한다.

ABSTRACT

Open ad hoc teamwork is the problem of training a single agent to efficiently collaborate with an unknown group of teammates whose composition may change over time. A variable team composition creates challenges for the agent, such as the requirement to adapt to new team dynamics and dealing with changing state vector sizes. These challenges are aggravated in real-world applications in which the controlled agent only has a partial view of the environment. In this work, we develop a class of solutions for open ad hoc teamwork under full and partial observability. We start by developing a solution for the fully observable case that leverages graph neural network architectures to obtain an optimal policy based on reinforcement learning. We then extend this solution to partially observable scenarios by proposing different methodologies that maintain belief estimates over the latent environment states and team composition. These belief estimates are combined with our solution for the fully observable case to compute an agent's optimal policy under partial observability in open ad hoc teamwork. Empirical results demonstrate that our solution can learn efficient policies in open ad hoc teamwork in fully and partially observable cases. Further analysis demonstrates that our methods' success is a result of effectively learning the effects of teammates' actions while also inferring the inherent state of the environment under partial observability.

연구 동기 및 목표

• 동적으로 변화하는 동료들과 함께 협업할 수 있도록 단일 에이전트를 훈련하는 데 있어 개방형 임시 팀워크 설정에서의 과제를 해결한다.
• 기존의 임시 팀워크 접근 방식에서의 고정 입력 모델과 정적 팀 구성 가정의 한계를 극복한다.
• 가변적인 팀 규모를 고려하여 완전 관찰 및 부분 관찰 환경 모두에 일반화되는 통합 프레임워크를 개발한다.
• 잠재 상태와 동료 구성에 대한 믿음 추정을 유지함으로써 부분 관찰 조건 하에서 효율적인 정책 학습을 가능하게 한다.
• 그래프 신경망이 정책 학습을 위한 가변 크기의 다중 에이전트 상호작용을 어떻게 효과적으로 모델링할 수 있는지 확인한다.

제안 방법

• 가변적인 입력 크기 처리를 가능하게 하기 위해, 동료 유형, 행동, 공동 행동 가치를 모델링하기 위해 그래프 신경망(GNNs)을 사용한다.
• 부분 관찰 조건 하에서 잠재 환경 상태와 동료 정책에 대한 추정을 유지하기 위해 입자 필터를 사용한 믿음 업데이트 메커니즘을 구현한다.
• 동료 유형 추론, 행동 예측, 공동 행동 가치 모델링을 통합한 GNN 기반 정책 네트워크(GPL)로 통합한다.
• 행동 예측 및 믿음 추정을 위한 강화 학습(TD 오차)과 음의 로그우도 손실을 조합하여 프레임워크를 훈련한다.
• 훈련 중에 계산이 불가능한 믿음 분포를 근사하기 위해 잠재 상태(z)에 대한 몬테카를로 샘플링을 사용한다.
• 에이전트 모델링, 가치 예측, 정책 출력을 위한 별도의 헤드를 포함한 다중 구성 요소 아키텍처를 사용하며, 모든 요소는 GNN 처리된 그래프 표현에 기반한다.

실험 결과

연구 질문

• RQ1 완전 관찰 조건 하에서 가변적인 팀 규모를 가진 개방형 임시 팀워크를 효과적으로 다룰 수 있는 일반적인 학습 프레임워크가 존재하는가?
• RQ2 동료의 행동과 구성이 알려지지 않았고 동적으로 변화할 때, 단일 에이전트가 어떻게 정책을 적응시킬 수 있는가?
• RQ3 그래프 신경망이 개방형 팀워크 환경에서 정책 학습을 위한 가변 크기의 다중 에이전트 상호작용을 어느 정도 효과적으로 모델링할 수 있는가?
• RQ4 믿음 추정 통합이 부분 관찰 가능성을 고려한 개방형 임시 팀워크에서 정책 성능을 어떻게 향상시키는가?
• RQ5 제안된 프레임워크는 완전 관찰 및 부분 관찰 환경 모두에서 서로 다른 정책을 가진 알려지지 않은 동료들에 대해 일반화 가능한가?

주요 결과

• GPL 프레임워크는 개방형 임시 팀워크 환경에서 가치 기반 및 다중 에이전트 강화 학습 기준들보다 유의미하게 높은 수익을 달성한다.
• 훈련 중에 본 적이 없는 동료들에 대해서도 동료 유형을 성공적으로 추론하고 행동을 예측함으로써 강력한 일반화 능력을 보여준다.
• 부분 관찰 조건 하에서 입자 필터 기반 믿음 추정은 정확한 잠재 상태 표현을 유지함으로써 효과적인 정책 학습을 가능하게 한다.
• 실험 결과는 프레임워크의 성공이 동료 행동의 영향을 효과적으로 모델링하고 환경의 숨겨진 상태를 추론함에 기인함을 보여준다.
• GNN의 사용 덕분에 표준 함수 근사기의 주요 한계를 극복하고 동적 팀 구성으로 인한 가변 크기의 입력 벡터를 처리할 수 있다.
• 다른 랜덤 시드로 훈련된 알려지지 않은 동료들에 대해서도 프레임워크가 잘 일반화됨을 확인하여, 개방형 팀에서 정책 다양성에 대한 강건성을 입증한다.