[논문 리뷰] RGMComm: Return Gap Minimization via Discrete Communications in Multi-Agent Reinforcement Learning

Jingdi Chen, Lü Tian외 1명|arXiv (Cornell University)|2023. 08. 07.

Reinforcement Learning in Robotics인용 수 4

한 줄 요약

RGMComm는 다중 에이전트 강화 학습을 위한 이산적 소통 프레임워크를 제안하며, 부분 관측 정책과 이상적인 완전 관측 정책 간의 수익 차이를 최소화한다. 메시지 생성을 코사인 거리 기반 정규화 정보 최대화 손실을 사용한 온라인 클러스터링으로 모델링함으로써 RGMComm는 이해 가능한, 소수의 비트 메시지를 사용하여 최신 기술 수준의 성능을 달성하며, 수익 차이에 대한 폐형 상한을 제공하여 이론적 성능 보장을 보장한다.

ABSTRACT

Communication is crucial for solving cooperative Multi-Agent Reinforcement Learning tasks in partially observable Markov Decision Processes. Existing works often rely on black-box methods to encode local information/features into messages shared with other agents, leading to the generation of continuous messages with high communication overhead and poor interpretability. Prior attempts at discrete communication methods generate one-hot vectors trained as part of agents' actions and use the Gumbel softmax operation for calculating message gradients, which are all heuristic designs that do not provide any quantitative guarantees on the expected return. This paper establishes an upper bound on the return gap between an ideal policy with full observability and an optimal partially observable policy with discrete communication. This result enables us to recast multi-agent communication into a novel online clustering problem over the local observations at each agent, with messages as cluster labels and the upper bound on the return gap as clustering loss. To minimize the return gap, we propose the Return-Gap-Minimization Communication (RGMComm) algorithm, which is a surprisingly simple design of discrete message generation functions and is integrated with reinforcement learning through the utilization of a novel Regularized Information Maximization loss function, which incorporates cosine-distance as the clustering metric. Evaluations show that RGMComm significantly outperforms state-of-the-art multi-agent communication baselines and can achieve nearly optimal returns with few-bit messages that are naturally interpretable.

연구 동기 및 목표

• 기존의 다중 에이전트 강화 학습을 위한 이산적 소통 방법에서 이론적 보장을 부족하게 하는 문제를 해결하기 위해.
• 연속적이고 투명하지 않은 메시를 이산적이고 유한 알파벳의 메시로 대체하여 소통 오버헤드를 줄이고 해석 가능성을 향상시키기 위해.
• 소통 기능이 있는 부분 관측 정책과 이상적인 완전 관측 정책 간의 수익 차이를 최소화하기 위해.
• 사전 합의된 의미 체계 없이 로컬 관측치의 온라인 클러스터링을 통해 동적으로 탈중앙화된 메시 생성을 가능하게 하기 위해.
• 메시지 설계와 훈련을 이끄는 수익 차이에 대한 폐형 상한을 제공하기 위해.

제안 방법

• 완전 관측 정책과 이산적 소통를 갖춘 부분 관측 정책 간의 수익 차이를, 동일한 클러스터 내의 연합 행동가치 벡터 간 평균 코사인 거리로 포함하는 상한으로 수식화한다.
• 메시지 생성을 온라인 클러스터링 문제로 재정의하며, 메시지는 클러스터 레이블에 해당하고 수익 차이 상한은 클러스터링 손실로 기능한다.
• 수익 차이를 최소화하기 위해 코사인 거리를 클러스터링 지표로 포함한 새로운 정규화 정보 최대화(RIM) 손실 함수를 도입한다.
• 행동가치 추정과 메시지 생성을 위한 공유 가중치를 가진 이중 스트림 신경망 아키텍처를 사용하며, 탄젠트를 통한 정규화와 적응적 스케일링을 적용한다.
• 타겟 네트워크에 소프트 업데이트 메커니즘을 사용하며, τ = 0.01을 사용하고 액터(0.0001)와 크리틱(0.001) 네트워크에 별도의 학습률을 적용한다.
• 기울기 전파가 가능한 메시지 샘플링을 위해 Gumbel-Softmax 리프레젠테이션을 적용하여 엔드 투 엔드 훈련을 가능하게 하면서도 이산적 메시의 의미를 유지한다.

실험 결과

연구 질문

• RQ1 완전 관측 정책과 이산적 소통를 갖춘 부분 관측 정책 간의 수익 차이에 대해 폐형 상한을 유도할 수 있는가?
• RQ2 이 수익 차이를 최소화하면서도 해석 가능성과 낮은 소통 비용을 확보하는 이산적 소통 메커니즘을 어떻게 설계할 수 있는가?
• RQ3 로컬 관측치를 기반으로 한 온라인 클러스터링 문제로 메시지 생성을 모델링할 수 있으며, 수익 차이를 클러스터링 목적함수로 사용할 수 있는가?
• RQ4 코사인 거리를 클러스터링 지표로 사용할 경우, 다른 거리 측정 방법에 비해 성능 향상과 더 나은 해석 가능성의 메시를 제공하는가?
• RQ5 다양한 메시 알파벳 크기 조건에서 RGMComm은 기존 베이스라인 대비 수익, 소통 효율성, 해석 가능성 측면에서 어떻게 비교되는가?

주요 결과

• RGMComm는 메시당 몇 비트의 소수의 비트만으로 거의 최적의 수익을 달성하며, CommNet, IC3Net, TarMAC, SARNet와 같은 최신 기술 수준의 베이스라인을 크게 능가한다.
• 이 방법은 수익 차이에 대한 이론적 상한을 제공하며, 이 상한은 ε가 동일한 클러스터 내 행동가치 벡터 간 평균 코사인 거리일 때 O(√ε n Q_max)로 스케일링된다.
• 단절 실험을 통해 코사인 거리가 성능에 핵심적임을 확인하였으며, 소프트맥스와 같은 대체 정규화 방법은 성능을 떨어뜨린다.
• RGMComm는 이해 가능한 소통을 가능하게 한다: 메시는 관측치의 의미 있는 클러스터에 대응하며, 시각화 예시에서 이를 확인할 수 있다.
• 사전 합의된 소통 프로토콜나 공유 어휘 없이도 훈련 과정에서 동적으로 메시 의미를 학습한다.
• 격자형 미로 환경에서 RGMComm는 일부 설정에서 중심화된 Q-러닝보다 더 높은 평균 에피소드 보상치를 달성하였으며, 이는 단순하고 학습 가능한 정책에 이산적 소통를 적용할 경우 조합적 복잡도 감소로 인해 복잡한 완전 관측 정책을 능가할 수 있음을 보여준다.