[논문 리뷰] Towards Open Ad Hoc Teamwork Using Graph-based Policy Learning

Arrasy Rahman, Niklas Höpner외 2명|arXiv (Cornell University)|2020. 06. 18.

Mobile Crowdsensing and Crowdsourcing참고 문헌 34인용 수 4

한 줄 요약

이 논문은 그래프 기반 정책 학습(GPL)을 제안하며, 정책이 알려지지 않은 에이전트들이 동적으로 팀에 참여하거나 이탈하는 환경에서 단일 에이전트가 변화하는 팀 구성에 실시간으로 적응할 수 있도록 하는 새로운 방법을 제공한다. 변동하는 팀 크기의 팀을 모델링하기 위해 그래프 신경망을 사용하고, 에이전트 모델과 공동 행동가치 함수를 통합함으로써, 다중 환경 벤치마크에서 기존의 기준들보다 우수한 성능을 보이며, 특히 예측되지 않은 팀 크기와 구성으로의 일반화 능력에서 뛰어나다.

ABSTRACT

Ad hoc teamwork is the challenging problem of designing an autonomous agent which can adapt quickly to collaborate with teammates without prior coordination mechanisms, including joint training. Prior work in this area has focused on closed teams in which the number of agents is fixed. In this work, we consider open teams by allowing agents with different fixed policies to enter and leave the environment without prior notification. Our solution builds on graph neural networks to learn agent models and joint-action value models under varying team compositions. We contribute a novel action-value computation that integrates the agent model and joint-action value model to produce action-value estimates. We empirically demonstrate that our approach successfully models the effects other agents have on the learner, leading to policies that robustly adapt to dynamic team compositions and significantly outperform several alternative methods.

연구 동기 및 목표

• 정책이 알려지지 않은 에이전트들이 사전 조율 없이 동적으로 팀에 참여하거나 이탈하는 환경에서의 개방형 임시 팀워크 문제를 해결하기 위해.
• 고정된 상태벡터 강화학습 방법이 변동하는 팀 크기의 환경에서 가지는 한계를 극복하기 위해.
• 단일 에이전트가 다양한 팀원 유형과 변화하는 팀 구성에 적응할 수 있는 강건한 정책을 학습할 수 있도록 하기 위해.
• 개별 에이전트의 행동이 학습자에게 주는 보상에 미치는 영향을 분리해내는 공동 행동가치 모델을 개발하기 위해.
• 그래프 기반 모델링과 통합된 행동가치 계산을 통해 예측되지 않은 팀 크기와 구성으로의 일반화 능력을 향상시키기 위해.

제안 방법

• GPL은 그래프 신경망(GNNs)을 사용하여 에이전트의 동적 행동과 공동 행동가치 함수를 모두 모델링함으로써 변동하는 팀 크기를 처리할 수 있도록 한다.
• 에이전트 모델의 예측과 GNN 기반 가치 모델이 도출한 공동 행동가치 추정치를 융합하는 새로운 행동가치 계산 방식을 도입한다.
• 에이전트 모델은 관찰력 기록을 기반으로 팀원의 행동을 예측하고, 공동 행동가치 모델은 팀 전반의 행동에 기반해 보상을 추정한다.
• GPL은 가치 기반 단일 에이전트 강화학습 알고리즘과 호환되며, 두 가지 변종을 테스트했다: Q-러닝 기반과 소프트 정책 반복 기반.
• 공동 행동가치 모델은 각 에이전트의 행동이 학습자 보상에 기여하는 정도를 분리하여 학습자에게 강건한 적응 능력을 제공하도록 훈련된다.
• 에이전트 간의 상호작용을 포괄하기 위해 쌍방향 유용성 모델(MLPδ)을 사용하여 가치 추정의 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 개방형 환경에서 정책이 알려지지 않은 에이전트들이 동적으로 팀에 참여하거나 이탈하는 상황에서 단일 에이전트 강화학습 에이전트가 효과적으로 적응할 수 있는가?
• RQ2 고정된 크기 또는 연결 기반 접근 방식과 비교했을 때, 그래프 기반 모델링은 개방형 임시 팀워크에서 성능과 일반화 능력을 어떻게 향상시키는가?
• RQ3 팀 크기와 구성이 변할 경우에도 GPL이 개별 팀원의 영향을 얼마나 잘 분리해 낼 수 있는가?
• RQ4 에이전트 모델과 공동 행동가치 함수를 통합하면 단일 모델이나 입력 연결 방식보다 더 나은 정책 학습을 이끌 수 있는가?
• RQ5 복잡한 다중 에이전트 환경에서 GPL은 이전에 볼 수 없었던 팀 크기와 팀원 유형으로의 일반화 능력이 얼마나 뛰어난가?

주요 결과

• GPL은 레벨 기반 포레징, 울프팩, 포트어택의 세 가지 벤치마크 환경 전반에서 Q-러닝, MADDPG, DGN, 입력 연결을 사용한 개선된 변종 등 모든 기준들보다 뚜렷이 뛰어난 성능을 보였다.
• GPL의 두 변종 모두 대부분의 학습 과제에서 모든 기준들보다 높은 보상을 달성했으며, GNN 기반 변종은 동적 팀 시나리오에서 특히 뛰어난 성능을 보였다.
• GPL은 예측되지 않은 팀 크기와 구성으로의 일반화 능력이 뛰어나, 동적 팀 동역학을 모델링하지 못한 방법들보다 뛰어났다.
• 상태 가치 분석 결과, GPL 학습자는 공격자가 사거리 내에 있을 경우 더 높은 유용성을 할당하는 것을 학습한 반면, 기준들은 공격자가 없는 상태를 선호하는 것으로 나타났다.
• GNN 기반 공동 행동가치 모델은 중요한 게임 상태, 예를 들어 근처에 공격자가 존재하는 상태를 더 잘 구분할 수 있었으며, 이는 정책 성능 향상과 관련이 있었다.
• 에이전트 모델과 공동 행동가치 함수의 통합은 단일 에이전트 기준들이 포착하지 못한 복잡한 상호작용 관계를 GPL이 학습할 수 있도록 했다.