[논문 리뷰] Learning to Share in Multi-Agent Reinforcement Learning

Yuxuan Yi, Ge Li외 2명|arXiv (Cornell University)|2021. 12. 16.

Evolutionary Game Theory and Cooperation인용 수 6

한 줄 요약

이 논문은 네트워크 기반 다중 에이전트 강화학습(MARL)에서 협력을 향상시키기 위해 이웃 에이전트와 동적 보상 공유를 학습할 수 있도록 하는 계층적 탈중앙화 다중 에이전트 강화학습 프레임워크인 LToS를 제안한다. 전역 목표 분해(고수준 정책)와 국소 정책 최적화(저수준 정책)를 분리함으로써 LToS는 사회적 딜레마 및 대규모 교통 제어 시나리오에서 QMIX, DGN, NeurComm보다 우수한 수렴성과 전역 수익을 달성한다.

ABSTRACT

In this paper, we study the problem of networked multi-agent reinforcement learning (MARL), where a number of agents are deployed as a partially connected network and each interacts only with nearby agents. Networked MARL requires all agents to make decisions in a decentralized manner to optimize a global objective with restricted communication between neighbors over the network. Inspired by the fact that sharing plays a key role in human's learning of cooperation, we propose LToS, a hierarchically decentralized MARL framework that enables agents to learn to dynamically share reward with neighbors so as to encourage agents to cooperate on the global objective through collectives. For each agent, the high-level policy learns how to share reward with neighbors to decompose the global objective, while the low-level policy learns to optimize the local objective induced by the high-level policies in the neighborhood. The two policies form a bi-level optimization and learn alternately. We empirically demonstrate that LToS outperforms existing methods in both social dilemma and networked MARL scenarios across scales.

연구 동기 및 목표

• 에이전트가 이웃과만 통신하는 부분적으로 연결된 대규모 다중 에이전트 네트워크에서 탈중앙화된 협력 문제를 해결한다.
• 기존의 중심집중형 훈련/탈중앙형 실행(CTDE) 방법이 과도한 일반화와 낮은 확장성 문제를 겪는 것을 극복한다.
• 전역 목표의 공동 최적화를 촉진하기 위해 에이전트가 보상 공유 방법을 동적으로 학습할 수 있는 메커니즘을 개발한다.
• 이전 연구에서 흔히 사용되는 수작업으로 설계된 보상 함수나 전역 상태 접근에 의존하지 않도록 한다.
• 확장 가능한 탈중앙형 훈련을 가능하게 하며, 동적 환경에서의 동적 조율을 지원하는 이중 정책 구조를 제공한다.

제안 방법

• 이중 계층형 프레임워크 제안: 고수준 정책이 이웃과의 보상 공유 방법을 학습하여 전역 목표를 분해한다.
• 저수준 정책은 고수준 보상 공유 결정에 의해 유도된 지역 목표를 최적화한다.
• 고수준 정책과 저수준 정책는 이중 최적화 과정을 통해 번갈아가며 훈련된다.
• 고수준 정책는 연합 고수준 정책의 평균장 근사로 이론적으로 정당화되어 안정성을 보장한다.
• 고수준 정책에는 DDPG를, 저수준 정책에는 DGN을 사용하여 구현하였지만, 다른 강화학습 알고리즘으로도 일반화 가능하다.
• 네트워크를 통해 메시지 전달을 구현하여 국소 정보 교환을 가능하게 하며, 전역 상태 접근 없이도 탈중앙형 실행을 지원한다.

실험 결과

연구 질문

• RQ1 탈중앙화된 다중 에이전트 강화학습 프레임워크는 네트워크 기반 환경에서 전역 협력을 향상시키기 위해 동적 보상 공유를 학습할 수 있는가?
• RQ2 고수준 정책를 통해 보상 공유를 학습하는 것이 사회적 딜레마에서 고정 또는 수작업으로 설계된 보상 형상화보다 성능을 더 좋게 하는가?
• RQ3 제안된 이중 정책 프레임워크는 교통 신호 제어 시스템과 같은 대규모이고 부분적으로 연결된 네트워크에서 효과적으로 확장 가능한가?
• RQ4 동적 보상 공유 메커니즘은 중심집중형 또는 고정 구조의 신용 할당 및 보상 형상화 방법보다 어떻게 비교되는가?
• RQ5 고수준 정책이 공유 가중치를 적응적으로 조정할 수 있는 능력이 동적 환경 변화(예: 정점 교통 시간대) 동안 협력 수준 향상에 얼마나 기여하는가?

주요 결과

• CityFlow 교통 시뮬레이션에서 LToS는 DGN, QMIX, NeurComm, ConseNet을 모두 능가하여 6×6 격자 네트워크에서 차량당 평균 빨간 신호 수를 QMIX의 5.94에서 LToS의 0.58로 감소시켰다.
• 실제 샤먼 교통 네트워크(33개 교차로 포함)에서 LToS는 차량당 평균 대기 시간을 DQN의 13.99에서 1.71로 감소시켰으며, DGN의 2.02보다도 우수했다.
• 제거 실험 결과 고정된 공유 가중치(Fixed LToS)는 동적 환경에서 성능이 열 劣하므로, 고수준 정책이 적응형 조율을 위해 반드시 필요하다는 점을 입증했다.
• IP와 LIO는 수렴 속도가 느리고 하이퍼파라미터에 민감하여 성능이 열 劣한 데 비해, LToS는 더 빠른 수렴과 더 나은 안정성을 확보했다.
• 자기 중심성 패턴의 시각화 결과, 정점 교통 시간대에 에이전트들이 자기 중심성을 감소시키며, 환경 요구에 따라 고수준 정책이 협력 수준을 동적으로 조정하는 것을 보여주었다.
• 자기 중심성의 공간적·시간적 패턴 분석 결과, 내부 에이전트들이 정점 시간대에 더 더러운 협력 패턴을 보이며 교차형 협력을 나타내었으며, 이는 복잡하고 맥락 인식 가능한 협업의 탄생을 보여주었다.