[논문 리뷰] Learning Multi-Agent Communication from Graph Modeling Perspective

Shengchao Hu, Li Shen외 2명|arXiv (Cornell University)|2024. 05. 14.

Advanced Graph Neural Networks인용 수 4

한 줄 요약

이 논문은 통신 아키텍처를 학습 가능한 그래프로 간주하는 새로운 다중 에이전트 강화학습 프레임워크인 CommFormer을 제안한다. 이는 연속적 리파라미터라이제이션과 어텐션 메커니즘을 통해 엔드 투 엔드 최적화를 가능하게 한다. 통신 구조 학습을 이중 최적화 문제로 공식화함으로써, CommFormer은 다양한 협동 작업에서 뛰어난 성능을 달성하며 수동으로 설계된 아키텍처를 일관되게 능가하고, 전체 통신의 상한선에 가까운 성능을 기록한다.

ABSTRACT

In numerous artificial intelligence applications, the collaborative efforts of multiple intelligent agents are imperative for the successful attainment of target objectives. To enhance coordination among these agents, a distributed communication framework is often employed. However, information sharing among all agents proves to be resource-intensive, while the adoption of a manually pre-defined communication architecture imposes limitations on inter-agent communication, thereby constraining the potential for collaborative efforts. In this study, we introduce a novel approach wherein we conceptualize the communication architecture among agents as a learnable graph. We formulate this problem as the task of determining the communication graph while enabling the architecture parameters to update normally, thus necessitating a bi-level optimization process. Utilizing continuous relaxation of the graph representation and incorporating attention units, our proposed approach, CommFormer, efficiently optimizes the communication graph and concurrently refines architectural parameters through gradient descent in an end-to-end manner. Extensive experiments on a variety of cooperative tasks substantiate the robustness of our model across diverse cooperative scenarios, where agents are able to develop more coordinated and sophisticated strategies regardless of changes in the number of agents.

연구 동기 및 목표

• 다중 에이전트 강화학습(MARL)에서 수동으로 사전 정의된 통신 아키텍처의 한계를 해결함으로써, 높은 변동성과 적응 가능성 부족으로 인한 최적 성능 달성의 어려움을 해소한다.
• 대규모 MARL 환경에서 모든 에이전트 간의 전체 통신의 비효율성과 높은 비용 문제를 해결하며, 특히 대역폭과 계산 자원 제약 조건 하에서도 효율성을 확보한다.
• 학습 과정 중에 진화하는 동적이고 적응 가능한 통신 구조를 가능하게 하여 더 잘 조율되고 확장 가능한 에이전트 협업을 지원한다.
• 통신 아키텍처 학습을 이중 최적화 문제로 공식화함으로써 그래프 구조와 모델 파라미터를 동시에 최적화할 수 있도록 한다.
• 에이전트 수의 변화에 관계없이 계산 가능하고 확장 가능한 성능을 유지하면서도 샘플 효율적인 엔드 투 엔드 학습을 가능하게 한다.

제안 방법

• 이산 그래프 표현의 연속적 리파라미터라이제이션을 사용하여 에이전트 간의 통신 아키텍처를 미분 가능하고 학습 가능한 그래프로 모델링한다.
• 문제를 이중 최적화로 공식화함: 상위 레벨은 통신 그래프 구조를 최적화하고, 하위 레벨은 고정된 그래프 아키텍처 하에 에이전트 정책을 학습한다.
• 그래프 모델링 프레임워크 내부에 학습 가능한 어텐션 메커니즘을 통합하여 메시지 중요도를 동적으로 가중하고 협업 성능을 향상시킨다.
• 에지 수를 𝒮×N²로 제한하는 하이퍼파라미터 𝒮를 통해 통신 희소성 제어를 수행함으로써 대역폭 효율성과 확장성을 확보한다.
• 기울기 하강법을 사용하여 통신 그래프와 정책 파라미터를 엔드 투 엔드 방식으로 동시에 최적화함으로써 후보 아키텍처에 대한 이산적 탐색을 피한다.
• 이산 그래프 탐색을 연속 최적화 문제로 변환하기 위해 연속적 리파라미터라이제이션을 적용함으로써 그래프 구조를 통해 역전파를 가능하게 한다.

실험 결과

연구 질문

• RQ1 학습 가능한 그래프 기반의 통신 아키텍처가 다중 에이전트 협동 작업에서 수동으로 사전 정의된 통신 토폴로지보다 우월한 성능을 보일 수 있는가?
• RQ2 통신 그래프의 희소성이 다양한 MARL 환경과 에이전트 수에 따라 성능에 어떤 영향을 미치는가?
• RQ3 통신 구조와 정책 파rameter의 엔드 투 엔드 최적화가 MARL에서 협업과 확장성 향상에 얼마나 기여하는가?
• RQ4 그래프 표현의 연속적 리파라미터라이제이션은 이산적 탐색 없이도 최적의 통신 패턴을 효과적이고 효율적으로 학습할 수 있도록 하는가?
• RQ5 제안된 방법은 다양한 협동 작업에 일반화되며, 에이전트 수에 관계없이 높은 성능을 유지할 수 있는가?

주요 결과

• Figure 4와 같이 CommFormer은 여러 StarCraft II 미크로매니지먼트(SMAC) 환경에서 일관되게 수동으로 사전 정의된 통신 아키텍처를 능가하며, 최적의 통신 패턴을 자율적으로 발견할 수 있음을 입증한다.
• 복잡한 환경에서 통신 희소성(S)이 증가할수록 성능 향상이 관찰되며, 특히 에이전트 수가 증가할수록 더 높은 연결성이 확장성 향상에 필수적임을 시사한다.
• 1c3s5z와 같은 단순한 작업에서는 낮은 희소성(예: 에이전트당 하나의 통신 링크)만으로도 100% 승률을 기록할 수 있어, 작업 복잡도에 대한 방법의 적응 가능성과 뛰어난 유연성을 보여준다.
• 제한 없이 정보 공유가 가능한 환경에서 CommFormer은 전체 통신(모든 에이전트 간 전파)의 성능 상한선에 근접한 성능을 기록하며, 거의 최적의 협업을 달성함을 시사한다.
• 제거 실험 결과, 무작위로 사전 정의된 아키텍처는 심각한 성능 변동성을 초래함을 확인하여 자동 아키텍처 탐색의 필요성을 입증한다.
• 그래프 표현의 연속적 리파라미터라이제이션은 이산적 아키텍처 탐색의 계산 부담을 피하면서도 효과적이고 샘플 효율적이며 엔드 투 엔드 학습이 가능함을 보여준다.