[논문 리뷰] Heterogeneous Graph Attention Networks for Learning Diverse Communication

Esmaeil Seraj, Zheyuan Wang외 4명|arXiv (Cornell University)|2021. 08. 21.

Advanced Graph Neural Networks참고 문헌 43인용 수 4

한 줄 요약

이 논문은 다양한 능력을 지닌 다중 에이전트 팀을 위한 효율적인 통신 프로토콜을 학습하는 데 목적이 있는 이종 그래프 어텐션 네트워크 HetNet을 제안한다. 이는 새로운 다중 에이전트 이종 액터-크리틱(MAHAC) 프레임워크를 통해 이루어지며, GNN 기반 메시지 번역을 통해 공통 언어를 통해 이종 간 통신을 모델링함으로써 이종 환경에서 기존 기준 대비 약 10% 향상된 성능을 달성한다.

ABSTRACT

Multi-agent teaming achieves better performance when there is communication among participating agents allowing them to coordinate their actions for maximizing shared utility. However, when collaborating a team of agents with different action and observation spaces, information sharing is not straightforward and requires customized communication protocols, depending on sender and receiver types. Without properly modeling such heterogeneity in agents, communication becomes less helpful and could even deteriorate the multi-agent cooperation performance. We propose heterogeneous graph attention networks, called HetNet, to learn efficient and diverse communication models for coordinating heterogeneous agents towards accomplishing tasks that are of collaborative nature. We propose a Multi-Agent Heterogeneous Actor-Critic (MAHAC) learning paradigm to obtain collaborative per-class policies and effective communication protocols for composite robot teams. Our proposed framework is evaluated against multiple baselines in a complex environment in which agents of different types must communicate and cooperate to satisfy the objectives. Experimental results show that HetNet outperforms the baselines in learning sophisticated multi-agent communication protocols by achieving $\sim$10\% improvements in performance metrics.

연구 동기 및 목표

• 에이전트들이 서로 다른 동작, 관측 및 센서 능력을 지닌 이종 다중 에이전트 팀에서의 비효율적 통신 문제를 해결하기 위해.
• 상태 공간과 동작 공간 양쪽에서 에이전트 이종성에 대응하는 확장 가능한 종단 간 통신 학습 프레임워크를 개발하기 위해.
• 다른 유형의 에이전트가 서로 다른 '언어'를 사용하더라도 의미 있고 과업 관련 정보를 교환할 수 있는 통신 프로토콜을 설계하기 위해.
• 실제 팀 구성의 다양성을 반영하는 새로운 다중 에이전트 이종 POMDP(MAH-POMDP) 환경에서 프레임워크를 평가하기 위해.
• 통신에서의 이종성 모델링이 표준 MARL 기준 대비 협력 성능 향상에 기여하는지 입증하기 위해.

제안 방법

• 협업 과업을 이종 에이전트와 함께 모델링하기 위해 새로운 문제 정식화를 제안: 다중 에이전트 이종 부분 관측 마르코프 결정 과정(MAH-POMDP).
• 에이전트 유형과 역할을 메시지 임베딩에 통합하여 이종 간 메시지 표현을 학습하는 이종 그래프 어텐션 네트워크 HetNet을 도입.
• 정책과 통신 프로토콜을 종단 간(end-to-end)으로 훈련하기 위해 중심화된 훈련과 분산 실행(CTDE) 파라다임을 활용.
• 에이전트 유형별 정책 학습과 이종 팀 내 신용 할당 향상을 위해 MAHAC 알고리즘에서 각 클래스별 크리틱 구조를 도입.
• GNN을 사용해 메시지를 다른 에이전트 유형 간에 공통 표현으로 번역하는 제한된 길이의 실수값 통신 채널을 설계.
• 각 에이전트가 관련 있는 다른 유형의 메시지에 주의를 기울이는 메시지 전달 메커니즘을 적용하여 스타일화되고 역할 인식된 통신을 가능하게 한다.

실험 결과

연구 질문

• RQ1 다른 동작 및 관측 공간을 지닌 이종 에이전트를 효과적으로 조율할 수 있는 통신 프로토콜을 학습할 수 있는가?
• RQ2 통신에서 에이전트 이종성을 모델링할 경우, 동종 또는 비이종 기준 대비 다중 에이전트 협력 성능은 어떻게 향상되는가?
• RQ3 중앙집중형, 각 클래스별, 각 에이전트별 크리틱 아키텍처의 차이가 이종 MARL 환경에서 학습 효율성과 성능에 어떤 영향을 미치는가?
• RQ4 제안된 프레임워크는 동종 및 이종 환경 모두에 일반화되어 우수한 성능을 유지할 수 있는가?
• RQ5 그래프 어텐션 기반 메커니즘이 이종 에이전트 간 통신의 메시지 관련성과 다양성에 어떻게 기여하는가?

주요 결과

• HetNet은 동종 및 이종 환경 모두에서 CommNet 및 IC3Net과 같은 최신 기준 대비 약 10% 향상된 성능 지표를 달성한다.
• MAHAC의 각 클래스별 크리틱 구조는 완전히 중심화된 크리틱보다 더 나은 학습 효율성과 성능을 보이며, 평균적으로 에피소드 완료 단계 수를 10.01에서 9.81로 감소시킨다.
• 각 클래스별 및 각 에이전트별 크리틱을 사용한 HetNet은 유사한 성능을 보이며, 모두 중심화된 크리틱 버전을 능가한다. 이는 유형별 신용 할당이 학습을 향상시킨다는 것을 시사한다.
• 절단 분석을 통해 통신에서의 이종성 모델링이 필수적임을 확인했다. 이종성 모델링이 없을 경우 통신는 성능을 떨어뜨릴 수 있다.
• 프레임워크는 잘 일반화되며, 도입된 동종 환경(Predator-Prey)과 새로운 이종 환경(Predator-Capture-Prey) 모두에서 효과를 입증했다.
• GNN 기반 메시지 번역을 통해 에이전트들이 공통 언어로 '말'할 수 있게 되어 이종 에이전트 간 언어 장벽을 해결했다.