[논문 리뷰] Rethinking Individual Global Max in Cooperative Multi-Agent Reinforcement Learning

Yitian Hong, Yaochu Jin외 1명|arXiv (Cornell University)|2022. 09. 20.

Reinforcement Learning in Robotics인용 수 8

한 줄 요약

이 논문은 협동 다에이전트 강화학습에서 개별 전역 최대값(IGM) 분해가 본질적으로 손실이 발생하는 것으로 규명하며, 이로 인해 하이퍼네트워크 기반 가치 분해 방법에서 오차가 누적됨을 밝혀낸다. 이를 해결하기 위해 저자는 DAgger 기반의 모방학습을 통합한 새로운 학습 프레임워크인 IGM-DA를 제안하며, 특히 시야가 없는 상황에서 SMAC 벤치마크에서 성능을 크게 향상시킨다.

ABSTRACT

In cooperative multi-agent reinforcement learning, centralized training and decentralized execution (CTDE) has achieved remarkable success. Individual Global Max (IGM) decomposition, which is an important element of CTDE, measures the consistency between local and joint policies. The majority of IGM-based research focuses on how to establish this consistent relationship, but little attention has been paid to examining IGM's potential flaws. In this work, we reveal that the IGM condition is a lossy decomposition, and the error of lossy decomposition will accumulated in hypernetwork-based methods. To address the above issue, we propose to adopt an imitation learning strategy to separate the lossy decomposition from Bellman iterations, thereby avoiding error accumulation. The proposed strategy is theoretically proved and empirically verified on the StarCraft Multi-Agent Challenge benchmark problem with zero sight view. The results also confirm that the proposed method outperforms state-of-the-art IGM-based approaches.

연구 동기 및 목표

• 협동 다에이전트 강화학습에서 개별 전역 최대값(IGM) 분해의 근본적 한계를 조사하는 것.
• IGM 기반 가치 분해가 손실이 발생하며, 이 손실이 하이퍼네트워크 기반 알고리즘의 학습 과정에서 누적되어 성능 저하를 초래함을 규명하는 것.
• 손실이 발생하는 분해 과정을 벨먼 업데이트에서 분리함으로써 오차 누적을 방지하는 학습 프레임워크를 개발하는 것.
• 부분 관측 환경 하에서 여러 최첨단 IGM 기반 알고리즘에 대해 제안된 방법의 효과성을 실증적으로 검증하는 것.
• 특히 시각 범위가 극히 제한된 환경(예: 시야가 없는 상황)에서의 강건성과 성능 향상을 입증하는 것.

제안 방법

• 중앙집중식 전역 관측 MARL 에이전트를 전문 정책으로 학습시켜 전문 정책을 생성하는 두 단계 학습 프레임워크인 IGM-DA를 제안한다.
• DAgger(데이터셋 집합) 기반 모방학습을 활용해 전문 정책의 전역 정책을 국소 관측 정책으로 정제함으로써, 손실이 발생하는 분해에서 기인하는 직접적인 오차 전파를 방지한다.
• 모방학습을 통해 전역 관측에서 국소 관측으로의 정책 매핑을 학습함으로써 가치 분해 과정을 벨먼 백업에서 분리한다.
• 기존의 IGM 기반 알고리즘(QMIX, QPLEX, DMIX)에 DAgger 기반 정책 정제를 통합하여 부분 관측 환경에서의 강건성을 향상시킨다.
• 손실이 발생하는 분해 과정을 시간 차이 학습 과정에서 분리함으로써 오차 누적 방지를 이론적으로 증명한다.
• 전문 정책은 중앙집중식 강화학습으로 학습하고, 학생 정책은 전문 정책의 시연 데이터를 활용해 모방학습을 통해 개선하는 하이브리드 학습 과정을 구현한다.

실험 결과

연구 질문

• RQ1 가치 분해 방법에서 개별 전역 최대값(IGM) 분해가 등가인지, 아니면 본질적으로 손실이 발생하는지 여부?
• RQ2 하이퍼네트워크 기반 MARL 알고리즘에서 손실이 발생하는 IGM 분해로 인한 오차가 학습 과정 중 누적되는가?
• RQ3 DAgger와 같은 모방학습 기법이 손실이 발생하는 IGM 분해로 인한 오차 누적을 효과적으로 완화할 수 있는가?
• RQ4 제안된 IGM-DA 프레임워크는 시각 범위가 제한된 협동 MARL 벤치마크(예: 시야가 없는 SMAC)에서 성능을 어떻게 향상시키는가?
• RQ5 IGM-DA의 성능 향상 정도가 환경의 부분 관측 수준에 따라 어느 정도로 달라지는가?

주요 결과

• IGM 분해는 본질적으로 손실이 발생하며, 이로 인해 하이퍼네트워크 기반 가치 분해 방법에서 학습 과정 중 오차가 누적됨을 확인함.
• 제안된 IGM-DA 프레임워크는 SMAC 벤치마크에서 성능을 크게 향상시키며, 특히 시야가 없는 상황에서 QMIX-DA가 3s5z에서 93.3%의 승리율 기록(기본 QMIX의 90.2% 대비).
• QPLEX-DA는 모든 환경에서 평균 점수 63.1% 기록(기본 QPLEX의 41.0% 대비)으로, MMM2와 같은 어려운 작업에서 뚜렷한 성능 향상을 보임.
• DMIX-DA는 평균 점수 67.0% 기록(기본 DMIX의 50.4% 대비)으로, 다양한 IGM 기반 아키텍처에 걸쳐 본 방법의 효과성을 확인함.
• 절단 실험 결과 DAgger가 행동 복제(BC)보다 크게 슈퍼리어하며, 특히 MMM2와 같은 복잡한 환경에서 DAgger는 55.4%의 승리율 기록(BC의 46.2% 대비).
• IGM-DA의 성능 향상은 극도로 시각 범위가 제한된 환경(예: 시야가 없는 상황)에서 가장 두드러지며, 시각 범위가 증가함에 따라 수익 감소 효과가 나타남.