[논문 리뷰] From Explicit Communication to Tacit Cooperation:A Novel Paradigm for Cooperative MARL

Dapeng Li, Zhiwei Xu외 2명|arXiv (Cornell University)|2023. 04. 28.

Distributed Control Multi-Agent Systems인용 수 4

한 줄 요약

이 논문은 TACO를 제안하며, 훈련 중 실시간 전역 정보와 궤적 재구성 전역 특징을 조합함으로써 명시적 소통에서 默시적 협업으로의 전환을 통해 협동적 다중에이전트强化학습(MARL)의 새로운 범주를 제시한다. 명시적 소통에 대한 의존도를 점진적으로 감소시킴으로써, 추론 시 어떠한 소통도 없는 완전히 분산된 실행 환경에서도 QMIX와 같은 소통 기반 방법과 비교해도 성능이 유사하거나 뛰어나다.

ABSTRACT

Centralized training with decentralized execution (CTDE) is a widely-used learning paradigm that has achieved significant success in complex tasks. However, partial observability issues and the absence of effectively shared signals between agents often limit its effectiveness in fostering cooperation. While communication can address this challenge, it simultaneously reduces the algorithm's practicality. Drawing inspiration from human team cooperative learning, we propose a novel paradigm that facilitates a gradual shift from explicit communication to tacit cooperation. In the initial training stage, we promote cooperation by sharing relevant information among agents and concurrently reconstructing this information using each agent's local trajectory. We then combine the explicitly communicated information with the reconstructed information to obtain mixed information. Throughout the training process, we progressively reduce the proportion of explicitly communicated information, facilitating a seamless transition to fully decentralized execution without communication. Experimental results in various scenarios demonstrate that the performance of our method without communication can approaches or even surpasses that of QMIX and communication-based methods.

연구 동기 및 목표

• 공유 신호가 부족해 협업이 어려운 부분관측 다중에이전트 환경에서 중심화된 훈련과 분산 실행(CTDE)의 한계를 해결하기 위해.
• 높은 통신 비용과 구현 제약로 인해 실용성이 떨어지는 소통 기반 다중에이전트 강화학습 방법의 문제를 해결하기 위해.
• 에이전트의 국소 궤적에서 전역 정보를 재구성함으로써 분산 실행 환경에서도 효과적인 협업을 가능하게 하기 위해.
• 명시적 소통에서 默시적 협업으로의 부드러운 전환을 가능하게 하는 훈련 범주를 개발하여, 통신 없는 추론 시 성능 저하를 최소화하기 위해.
• 재구성된 전역 정보가 실시간 통신 없이도 효과적인 협업을 지원할 수 있음을 입증하기 위해.

제안 방법

• 각 에이전트의 국소 궤적에서 재구성된 전역 특징과 명시적으로 공유된 전역 정보를 조합한 혼합 정보 표현 방식을 도입한다.
• 훈련 중 재구성된 정보와 진짜 전역 정보를 동적으로 가중하고 융합하기 위해 어텐션 메커니즘을 사용한다.
• 훈련 과정에서 명시적 소통의 기여도를 점진적으로 감소시킴(감쇠 계수 α를 통해), 默시적 협업으로의 점진적 전환을 가능하게 한다.
• 가치 기반 학습(e.g., QMIX)과 재구성 손실을 모두 포함하는 하이브리드 손실을 사용하여 정책을 훈련함으로써 궤적 기반 전역 특징 재구성의 정확도를 향상시킨다.
• t-SNE 시각화를 활용해 재구성된 특징이 진짜 전역 특징의 분포와 유사함을 검증한다.
• 기존의 CTDE 알고리즘인 VDN과 QMIX에 TACO 프레임워크를 적용하여 TACO-VDN과 TACO-QMIX를 개발한다.

실험 결과

연구 질문

• RQ1 명시적 소통에서 默시적 협업으로의 전환을 위한 훈련 범주가 추론 시 통신 없이도 효과적인 다중에이전트 협업을 달성할 수 있는가?
• RQ2 에이전트가 자신의 국소 궤적에서 전역 정보를 얼마나 잘 재구성할 수 있으며, 이 재구성이 효과적인 협업을 지원하는가?
• RQ3 훈련 중 통신을 점진적으로 줄임으로써 통신 없는 실행 성능이 향상되는가?
• RQ4 복잡한 부분관측 환경에서 TACO가 표준 CTDE 방법과 소통 기반 MARL 알고리즘을 모두 능가하는가?
• RQ5 어떤 초모수(e.g., 어텐션 차원, 통신 감쇠 비율)가 TACO 프레임워크의 성능에 가장 큰 영향을 미치는가?

주요 결과

• TACO-VDN과 TACO-QMIX는 GRF의 academy_counterattack_hard와 같은 도전적인 환경을 포함해 모든 평가 시나리오에서 기존 기반 모델인 VDN과 QMIX를 능가한다.
• GRF 환경에서 TACO-QMIX는 QMIX-Attention보다 뛰어난 성능을 기록하여, 재구성 기반 통신 없는 실행 방식이 통신 기반 방법을 능가할 수 있음을 보여준다.
• t-SNE를 활용한 시각화 결과 재구성된 전역 특징이 진짜 전역 특징의 분포를 잘 따르고 있음을 확인하여, 재구성이 의미 있고 정보적인 것으로 입증되었다.
• 제거 실험(ablation study) 결과, 즉각적인 전부 통신(TACO-Leap) 대비 점진적 감쇠(α)가 성능 향상에 더 유리함을 확인하여 점진적 전환의 중요성을 입증하였다.
• 낮은 어텐션 차원과 중간 수준의 β 값에서 최적의 성능를 달성하였으며, 이는 궤적 기반 전역 특징 학습에 대해 단순한 재구성 헤드가 더 효과적임을 시사한다.
• 통신 없는 실행 환경에서 최신 기술 수준의 성능를 달성하였으며, 복잡한 작업에서 QMIX-Attention과 같은 통신 기반 방법의 성능를 유사하거나 초월하였다.