[논문 리뷰] Multi-Agent Reinforcement Learning: A Report on Challenges and Approaches

Sanyam Kapoor|arXiv (Cornell University)|2018. 07. 25.

Reinforcement Learning in Robotics참고 문헌 19인용 수 29

한 줄 요약

이 논문은 혼합된 협력-경쟁 환경에서 다중 에이전트 강화학습(MARL)의 과제에 대한 종합적인 분석을 제시한다. 비정적 상태, 책임 할당, 부분 관측 가능성에 초점을 맞추며, 중심화된 가치 함수를 사용하고 분산된 정책을 적용하는 분산형 액터-중앙화 크리틱(DAC) 프레임워크를 제안한다. COMA 및 QMIX 아키텍처를 활용하여 Pommerman와 같은 환경에서 검증하여 다중 에이전트 간의 안정적인 협력과 샘플 효율성 향상을 입증한다.

ABSTRACT

Reinforcement Learning (RL) is a learning paradigm concerned with learning to control a system so as to maximize an objective over the long term. This approach to learning has received immense interest in recent times and success manifests itself in the form of human-level performance on games like extit{Go}. While RL is emerging as a practical component in real-life systems, most successes have been in Single Agent domains. This report will instead specifically focus on challenges that are unique to Multi-Agent Systems interacting in mixed cooperative and competitive environments. The report concludes with advances in the paradigm of training Multi-Agent Systems called extit{Decentralized Actor, Centralized Critic}, based on an extension of MDPs called extit{Decentralized Partially Observable MDP}s, which has seen a renewed interest lately.

연구 동기 및 목표

• 다중 에이전트 강화학습에서 유일하게 존재하는 핵심 과제, 즉 비정적 상태, 책임 할당, 부분 관측 가능성 등을 특정하고 분석하는 것.
• 중앙집중적 훈련과 분산 실행의 융합이 MARL의 불안정성과 책임 할당 문제를 해결하는 데 얼마나 효과적인지 평가하는 것.
• 복잡하고 부분 관측 가능한 환경에서 분산형 액터-중앙화 크리틱(DAC) 파라다임의 실용적 타당성을 입증하는 것.
• Pommerman와 같은 실제 다중 에이전트 환경, 즉 2v2 팀 기반 게임에 DAC 방법을 적용하는 것.

제안 방법

• 에이전트가 부분 정보만 관측하는 환경을 모델링하기 위해 분산형 부분 관측 마르코프 결정 과정(Dec-POMDP) 프레임워크를 사용한다.
• 공동 행동 가치를 추정하기 위해 중심화된 크리틱을 사용하며, 정책 기반의 이점 함수를 통한 반사적 기반 추정을 가능하게 한다: $ A^a(s,\mathbf{u}) = Q(s,\mathbf{u}) - \sum_{u^{\prime a}} \pi^a(u^{\prime a}|\tau^a) Q(s, (\mathbf{u}^{-a}, u^{\prime a})) $.
• 혼합 네트워크를 사용하여 가치 함수 분해의 단조성 조건을 강제하는 QMIX 아키텍처를 적용한다. 이는 절대 가중치 출력을 통해 전역 최적성 유지에 기여한다.
• 변동하는 상대의 행동에 대비한 강건성을 향상시키기 위해 결정론적 정책 기반 기울기와 앙상블 정책을 사용하는 훈련 파라다임을 도입한다.
• 비마르코프 성격을 다루기 위해 게이트형 순환 신경망을 사용하여 은닉 상태를 모델링한다.
• 표준 액터-크리틱 및 Q-학습 프레임워크를 사용하여 엔드 투 엔드로 에이전트를 훈련시키며, 훈련 중에는 중심화된 가치 추정을, 추론 시에는 분산 실행을 수행한다.

실험 결과

연구 질문

• RQ1 희소 보상이 존재하는 협력-경쟁 다중 에이전트 환경에서 책임 할당을 효과적으로 관리할 수 있는 방법은 무엇인가?
• RQ2 부분 관측 가능한 다중 에이전트 설정에서 중심화된 크리틱이 학습 안정성과 성능 향상에 얼마나 기여하는가?
• RQ3 가치 함수 분해에서 단조성 제약 조건이 전역 최적성을 유지하면서도 확장 가능한 다중 에이전트 학습을 가능하게 할 수 있는가?
• RQ4 샘플 효율성과 정책 수렴 측면에서 DAC 프레임워크는 완전히 분산된 접근 방식보다 어떻게 비교되는가?
• RQ5 Pommerman 게임과 같이 다양한 동료 및 상대 정책을 가진 복잡한 실제 환경에 DAC 파라다임이 일반화 가능한가?

주요 결과

• 분산형 액터-중앙화 크리틱(DAC) 프레임워크는 혼합된 협력-경쟁 MARL 환경에서 훈련 안정성과 성능을 크게 향상시킨다.
• 가치 함수 분해에서 단조성 조건을 강제하는 QMIX는 전역 최적성을 유지하며 독립적 Q-학습 대비 뛰어난 공동 행동 가치 추정 성능을 달성한다.
• COMA에서 반사적 기반 추정을 사용함으로써 개별 에이전트의 행동이 공동 정책 맥락에서 미치는 영향을 정확하게 평가할 수 있어 책임 할당이 정확해진다.
• Pommerman에서의 실험 결과, DAC로 훈련된 에이전트는 안정적인 협력 성능을 보이며 새로운 동료에 대해서도 일반화 가능함을 입증하여 정책 이동성의 강도를 보여준다.
• 경쟁적 자가학습과 사전 훈련된 에이전트를 통합함으로써 무작위 초기화에서 훈련하는 것보다 샘플 효율성과 성능이 향상된다.
• 정책 앙상블와 함께 사용될 경우, 변화하는 상대 정책로 인한 비정적 상태에 대한 프레임워크의 저항력이 뛰어나다는 점을 입증한다.