[논문 리뷰] Heterogeneous Multi-agent Zero-Shot Coordination by Coevolution

Ke Xue, Yutong Wang외 6명|arXiv (Cornell University)|2022. 08. 09.

Opinion Dynamics and Social Influence인용 수 6

한 줄 요약

이 논문은 다수의 에이전트와 파트너를 별도의 집단으로 공진화시켜 상호작용하는 이질적 다중에이전트 제로샷 조정(Zero-Shot Coordination, ZSC)을 위한 coevolution 기반 프레임워크인 MAZE를 제안한다. 서로 다른 종류의 에이전트와 파트너를 짝지어 업데이트하고 선택하는 방식으로, 자가대립(self-play) 및 인구기반 방법보다 이질적 환경에서 더 뛰어난 조정 성능를 달성하며, 다양한 환경에서 예측할 수 없는 파트너와도 뛰어난 성능을 보인다.

ABSTRACT

Generating agents that can achieve zero-shot coordination (ZSC) with unseen partners is a new challenge in cooperative multi-agent reinforcement learning (MARL). Recently, some studies have made progress in ZSC by exposing the agents to diverse partners during the training process. They usually involve self-play when training the partners, implicitly assuming that the tasks are homogeneous. However, many real-world tasks are heterogeneous, and hence previous methods may be inefficient. In this paper, we study the heterogeneous ZSC problem for the first time and propose a general method based on coevolution, which coevolves two populations of agents and partners through three sub-processes: pairing, updating and selection. Experimental results on various heterogeneous tasks highlight the necessity of considering the heterogeneous setting and demonstrate that our proposed method is a promising solution for heterogeneous ZSC tasks.

연구 동기 및 목표

• 협동 다중에이전트 강화학습(MARL)에서 예측할 수 없는 이질적 인간 파트너와의 제로샷 조정(ZSC) 문제를 해결하기 위해.
• 자기대립 및 인구기반 방법이 기술적으로는 동일한 능력이나 스킬을 가진 에이전트를 전제로 하므로, 이질적인 환경에서는 성능에 한계가 있음을 입증하기 위해.
• 에이전트와 파트너를 별도로 유지하는 새로운 공진화 프레임워크인 MAZE를 제안하여 ZSC 성능을 향상시키기 위해.
• Overcooked 및 자체 개발한 그리드월드 환경을 포함한 여러 이질적 환경에서 MAZE의 효과성을 검증하기 위해.

제안 방법

• MAZE는 자가대립에서의 동질성 가정을 피하기 위해 에이전트와 파트너를 위한 두 개의 별도된 집단을 공진화시킨다.
• 이 프레임워크는 세 가지 하위 과정을 통해 작동한다: 환경 내에서 에이전트와 파트너를 짝짓기, 공유 보상과 다양성의 가중합을 통해 정책 업데이트하기, 높은 성능을 보이는 개체 선별하기.
• 다양성은 과거의 파트너를 기록하는 아카이브를 유지하여 선별 과정에서 다양성이 확보된 파트너를 샘플링함으로써 향상된다.
• 전역 보상 극대화와 파트너 다양성 간의 균형을 이루기 위해 가중 손실 함수를 사용하여, 예측 불가능한 파트너에 대한 일반화 능력을 향상시킨다.
• 자기대립에서 에이전트와 파트너가 동일한 정책을 사용하는 것과는 달리, 명시적인 선택 및 짝짓기 메커니즘을 갖춘 인구기반 학습 기반의 기법을 사용한다.
• 프레임워크는 Overcooked 및 자체 개발한 FillInTheGrid 환경에서 평가되었으며, 구성 요소 기여도를 분석하기 위한 아블레이션 연구도 수행되었다.

실험 결과

연구 질문

• RQ1 RQ1: 인간 데이터 없이도 단순화된 이중집단 접근법이 이질적 ZSC 과제에서 자가대립 및 인구기반 학습보다 우수한가?
• RQ2 RQ2: 다양한 이질적 환경에서 MAZE는 최근 최고 수준의 ZSC 성능를 기록한 방법들과 비교해 어떻게 성능를 내는가?
• RQ3 RQ3: MAZE의 각 구성 요소(예: 다양성 아카이브, 선택 메커니즘)가 전체 성능에 기여하는 정도는 어떠한가?
• RQ4 RQ4: MAZE의 에이전트는 실제 인간 참가자와 제로샷 환경에서 성공적으로 조율할 수 있는가?

주요 결과

• MAZE는 이질적 ZSC 과제에서 자가대립 및 인구기반 학습보다 뚜렷이 뛰어나며, 이질성의 명시적 모델링이 필수적임을 입증한다.
• Overcooked AA 레이아웃에서 MAZE는 더 큰 네트워크와 더 많은 학습 세대를 사용함에도 불구하고 SP 및 PP보다 더 높은 최종 성능를 기록한다.
• t-SNE를 통해 시각화한 결과, MAZE가 생성한 파트너의 다양성은 가장 넓으며, 임베딩 공간의 서로 다른 영역에 분포되어 있다.
• MAZE의 파트너 다양성 메커니즘 덕분에, 예측 불가능한 파트너와의 조율 능력이 향상되어 더 나은 일반화 성능를 보였다.
• MAZE는 다른 ZSC 방법들과 유사한 벽시계 시간을 유지하며, 궤적 수집과 업데이트 과정이 주로 시간 소모가 많은 요소이다.
• 동질적 환경에서는 MAZE가 SP 및 PP와 유사한 성능를 보였지만, 이질적 변형 환경에서는 뚜렷한 우수성을 보여, 이질적 환경에서의 장점이 확인되었다.