[논문 리뷰] Neighborhood Cognition Consistent Multi-Agent Reinforcement Learning

Hangyu Mao, Wulong Liu외 6명|arXiv (Cornell University)|2019. 12. 03.

Reinforcement Learning in Robotics참고 문헌 19인용 수 6

한 줄 요약

이 논문은 다중 에이전트 강화학습에서 이웃 에이전트 간 인지 일관성을 강제함으로써 다중 에이전트 협업을 향상시키는 새로운 프레임워크인 이웃 인지 일관성 다중에이전트강화학습(NCC-MARL)을 소개한다. 이는 공유된 숨겨진 인지 변수에 대한 변동성 추론을 통해 실현된다. 이 잠재 변수와 이웃별 표현을 정렬함으로써 NCC-Q와 NCC-AC는 라우팅, 와이파이 설정, 구글 풋볼 작업에서 최신 기술(SOTA) 다중에이전트강화학습 방법들을 능가하는 성능을 달성한다. 환경의 복잡성이 증가할수록 이 성능 향상이 두드러진다.

ABSTRACT

Social psychology and real experiences show that cognitive consistency plays an important role to keep human society in order: if people have a more consistent cognition about their environments, they are more likely to achieve better cooperation. Meanwhile, only cognitive consistency within a neighborhood matters because humans only interact directly with their neighbors. Inspired by these observations, we take the first step to introduce \emph{neighborhood cognitive consistency} (NCC) into multi-agent reinforcement learning (MARL). Our NCC design is quite general and can be easily combined with existing MARL methods. As examples, we propose neighborhood cognition consistent deep Q-learning and Actor-Critic to facilitate large-scale multi-agent cooperations. Extensive experiments on several challenging tasks (i.e., packet routing, wifi configuration, and Google football player control) justify the superior performance of our methods compared with state-of-the-art MARL approaches.

연구 동기 및 목표

• 다중 에이전트 강화학습에서 에이전트 간 인지의 일관성 부족 문제를 해결함으로써 효과적인 협업을 가능하게 하기 위해.
• 기존의 글로벌 협업 방법을 보완할 수 있는 확장 가능하고 국지 수준의 협업 메커니즘을 개발하기 위해.
• 에이전트 이웃 내에서의 인지 일관성을 다중 에이전트 협업의 강건성과 대규모 확장성을 위한 핵심 요소로 정의하기 위해.
• 기존의 DQN 및 액터-크리틱 같은 다중에이전트강화학습 알고리즘과 통합 가능한 일반화 가능한 방법을 설계하기 위해.
• 이웃 인지 일관성이 샘플 효율성과 성능 향상에 기여함을 경험적으로 검증하기 위해, 특히 환경의 복잡성이 높을 경우에 초점을 맞추어.

제안 방법

• 다중 에이전트 환경을 그래프로 모델링하며, 에이전트는 노드이고 상호작용은 간선이 된다.
• 그래프 컬러지션 네트워크(GCN)가 이웃 에이전트의 공동 관측을 처리하여 고수준 표현을 추출한다.
• 이 표현은 에이전트별 및 이웃별 인지 표현으로 분해된다.
• 각 에이전트의 이웃 표현을 공유된 진짜 숨겨진 인지 변수와 일치시키기 위해 변동성 추론 기반의 CD-손실을 도입한다.
• CD-손실은 이웃 에이전트들이 지역 환경에 대해 일관된 인지를 형성하도록 유도하며, 이는 협업적이면서도 개인화된 정책을 가능하게 한다.
• 이 프레임워크는 딥 Q-러닝(NCC-Q)과 액터-크리틱(NCC-AC)에 통합되어 확장성과 기존 다중에이전트강화학습 아키텍처와의 호환성을 확보한다.

실험 결과

연구 질문

• RQ1 지역적 이웃 내에서 인지 일관성을 강제하면, 복잡하고 대규모 환경에서 다중 에이전트 협업이 향상되는가?
• RQ2 중앙 집중식 크리틱이나 가치 분해와 같은 글로벌 협업 메커니즘과 비교했을 때, 이웃 인지 일관성은 성능과 확장성 측면에서 어떻게 다른가?
• RQ3 제안된 CD-손실이 일관된 에이전트 인지를 형성하는 데 얼마나 빠르게 기여하고, 학습 효율성을 얼마나 향상시키는가?
• RQ4 인지 일관성이 높은 환경 복잡성 하에서 팀 수준의 성능 향상과 관련이 있는가?
• RQ5 패킷 라우팅, 와이파이 설정, 스포츠 제어와 같은 다양한 실세계 시나리오에 일반화 가능한가?

주요 결과

• NCC-Q와 NCC-AC는 패킷 라우팅, 와이파이 설정, 구글 풋볼 작업에서 VDN과 QMIX를 포함한 최신 기술(SOTA) 다중에이전트강화학습 방법들을 뛰어넘는 성능을 보였다.
• 2-vs-2 구글 풋볼 시나리오에서 NCC-Q는 그래프 기반 Q-러닝(Graph-Q)과 GCC-Q보다 더 높은 평균 보상을 달성하여 이웃 인지 일관성의 효과를 입증했다.
• 제거 실험에서 TD-손실과 CD-손실을 함께 사용한 경우, 특히 고난이도 설정에서 더 빠른 수렴과 더 일관된 인지 값이 관찰되었다.
• 고난이도 풋볼 시나리오(게임 난이도=0.9)에서는 CD-손실이 필수적이었으며, 이를 생략한 방법은 매우 낮은 보상과 일관되지 않은 인지를 기록했다.
• 결과는 인지 일관성과 팀 성능 간에 강한 정적 상관관계가 있음을 시사하며, 일관된 이웃 구조가 더 나은 협업을 가능하게 한다.
• 대규모 라우팅 작업에서 이 방법은 확장성이 뛰어나며, 환경의 복잡성이 증가할수록 NCC-MARL의 성능 향상이 커진다.