[논문 리뷰] Multi-Agent Actor-Critic with Hierarchical Graph Attention Network

Heechang Ryu, Hayong Shin외 1명|arXiv (Cornell University)|2019. 09. 27.

Reinforcement Learning in Robotics참고 문헌 31인용 수 9

한 줄 요약

이 논문은 협력적·경쟁적 환경에서 에이전트 간 및 그룹 간 관계를 모델링하기 위해 계층적 그래프 어텐션 네트워크(HGAT)와 다중에이전트 액터크리틱 학습을 결합한 HAMA라는 다중에이전트 강화학습 프레임워크를 제안한다. 상호에이전트 및 상호그룹 어텐션 메커니즘을 활용함으로써 HAMA는 더 전략적이고 해석 가능하며 이식 가능한 정책을 가능하게 하여 혼합된 협력·경쟁 작업에서 기존 방법들을 능가하며, 새로운 에이전트 구성에 대해 강력한 제로샷 전이 성능를 보여준다.

ABSTRACT

Most previous studies on multi-agent reinforcement learning focus on deriving decentralized and cooperative policies to maximize a common reward and rarely consider the transferability of trained policies to new tasks. This prevents such policies from being applied to more complex multi-agent tasks. To resolve these limitations, we propose a model that conducts both representation learning for multiple agents using hierarchical graph attention network and policy learning using multi-agent actor-critic. The hierarchical graph attention network is specially designed to model the hierarchical relationships among multiple agents that either cooperate or compete with each other to derive more advanced strategic policies. Two attention networks, the inter-agent and inter-group attention layers, are used to effectively model individual and group level interactions, respectively. The two attention networks have been proven to facilitate the transfer of learned policies to new tasks with different agent compositions and allow one to interpret the learned strategies. Empirically, we demonstrate that the proposed model outperforms existing methods in several mixed cooperative and competitive tasks.

연구 동기 및 목표

• 복잡하고 이질적인 환경에서 기존 다중에이전트 강화학습(MARL) 방법의 제한된 이식성과 확장성 문제를 해결하기 위해.
• 구조화된 그래프 어テン션 메커니즘을 사용하여 에이전트 간의 계층적 관계—그룹 내 및 그룹 간 관계—를 모델링하기 위해.
• 동적 상태 기반 관계에 따라 협력과 경쟁을 적응적으로 전환할 수 있는 탈중앙화된 정책을 가능하게 하기 위해.
• 그룹 내 및 그룹 간 상호작용에 대한 어텐션 가중치 분석을 통해 정책의 해석 가능성을 향상시키기 위해.
• 훈련된 정책이 새로운 작업에 대해 다양한 수의 에이전트와 구성으로 제로샷 전이될 수 있음을 입증하기 위해.

제안 방법

• HAMA는 개별 에이전트 및 그룹 수준에서 별도의 상호에이전트 및 상호그룹 어텐션 레이어를 사용하여 에이전트를 모델링하는 계층적 그래프 어텐션 네트워크(HGAT)를 사용한다.
• 상호에이전트 어텐션 레이어는 동일 그룹 내 개별 에이전트 간의 어텐션 가중치를 계산하여 협력적 역학을 포착한다.
• 상호그룹 어텐션 레이어는 그룹 간 어텐션을 계산하여 그룹 간 경쟁 또는 전략적 협력 관계를 모델링한다.
• HGAT는 각 에이전트의 로컬 관측치를 맥락 기반 정보 압축 임베딩 벡터로 처리하여 정책 학습을 위한 기초 자료를 제공한다.
• 모델은 개별 크리틱과 액터가 임베딩 표현을 기반으로 훈련되는 중심화된 훈련과 탈중앙화된 실행(CTDE) 프레임워크를 사용한다.
• 이 아키텍처는 표현 및 정책의 엔드 투 엔드 학습을 가능하게 하며, 어텐션 가중치는 전략적 결정의 해석 가능성을 제공한다.

실험 결과

연구 질문

• RQ1 계층적 그래프 어텐션 메커니즘이 혼합된 협력·경쟁 다중에이전트 환경에서 정책 성능을 향상시키는가?
• RQ2 상호에이전트 및 상호그룹 어텐션의 조합이 전략적 적응성과 정책 이식성을 향상시키는가?
• RQ3 작은 규모의 다중에이전트 작업에서 훈련된 정책이 다른 에이전트 구성으로 이루어진 더 큰 규모의 작업으로 얼마나 잘 전이되는가?
• RQ4 HGAT 모델의 어텐션 가중치를 사용하여 에이전트의 의사결정 과정을 해석하고 설명할 수 있는가?
• RQ5 다중에이전트 상호작용을 모델링할 때 계층적 그래프 구조는 평탄하거나 단일 수준의 그래프 구조보다 어떻게 비교되는가?

주요 결과

• HAMA는 MADDPG, COMA, MAAC 등 기존 MARL 방법보다 네 가지 다른 협력·경쟁 게임 시나리오에서 모두 뛰어난 성능을 보였다.
• 제거 실험 결과, 계층적 그래프와 이중 어텐션 메커니즘을 모두 포함한 HAMA 전체 모델(HG-IAGA)이 가장 높은 성능을 기록했으며, SG-IAA 및 HG-NA와 같은 변형 모델보다 뛰어났다.
• 3 대 3 사냥사자-사냥개 게임에서 훈련된 정책을 m 대 n 구성으로 전이했을 때, m > n 인 경우 사냥사자의 성공률이 1.0에 수렴하여 강력한 제로샷 이식성임을 입증했다.
• 상호에이전트 어텐션 가중치는 사냥개들이 사냥개 간 상호주의를 증가시키며 사냥개가 사냥개를 모아 사냥감을 모조리 봉쇄할 때 협력을 강화함을 보여주었고, 상호그룹 어텐션은 상대 그룹에 대한 경쟁적 의도를 반영했다.
• 'More-the-Stronger' 게임에서 그룹 크기가 포획 능력을 결정하는 환경에서, HAMA는 더 큰 사냥개 그룹이 뭉쳐 있는 사냥감을 효과적으로 포획하도록 성공적으로 협력 전략을 학습했으며, 기준 모델을 능가했다.
• 어텐션 시각화 결과는 모델이 동적 어텐션 패턴에 기반해 의미 있고 해석 가능한 전략—예를 들어 조율된 추격 또는 경쟁적 대상 지정—을 학습하고 있음을 확인했다.