[논문 리뷰] Game-Theoretic Multiagent Reinforcement Learning

Yaodong Yang, Ma, Chengdong외 5명|arXiv (Cornell University)|2020. 11. 01.

Reinforcement Learning in Robotics참고 문헌 398인용 수 146

한 줄 요약

이 논문은 게임 이론 관점에서 MARL에 대한 자체 포함(self-contained) 개요를 제공하며, 기본 개념(확률적 및 확장 형식 게임)을 상세히 설명하고 다양한 MARL 설정에 걸친 최근 알고리즘 발전을 조사한다.

ABSTRACT

Tremendous advances have been made in multiagent reinforcement learning (MARL). MARL corresponds to the learning problem in a multiagent system in which multiple agents learn simultaneously. It is an interdisciplinary field of study with a long history that includes game theory, machine learning, stochastic control, psychology, and optimization. Despite great successes in MARL, there is a lack of a self-contained overview of the literature that covers game-theoretic foundations of modern MARL methods and summarizes the recent advances. The majority of existing surveys are outdated and do not fully cover the recent developments since 2010. In this work, we provide a monograph on MARL that covers both the fundamentals and the latest developments on the research frontier. The goal of this monograph is to provide a self-contained assessment of the current state-of-the-art MARL techniques from a game-theoretic perspective. We expect this work to serve as a stepping stone for both new researchers who are about to enter this fast-growing field and experts in the field who want to obtain a panoramic view and identify new directions based on recent advances.

연구 동기 및 목표

• 확률적 게임과 확장형 게임을 통해 MARL 문제 형식을 소개한다.
• MARL에서 Nash 균형과 정책 기반/가치 기반 접근법과 같은 해법 개념을 설명한다.
• 최근 MARL 알고리즘 개발을 조사하고 일관된 분류 체계로 조직한다.
• 복잡도, 비정상성, 확장성 등 MARL의 큰 도전에 대해 논의한다.
• 평균장 MARL과 일반합 versus 제로합 설정과 같은 현대 주제를 강조한다.

제안 방법

• 확률적 게임과 확장형 게임의 두 가지 대표적인 MARL 프레임워크를 제시한다.
• 다중 에이전트 맥락에서 가치 기반 및 정책 기반 MARL 방법을 설명한다.
• MARL의 해법 개념으로서 Nash 균형에 대해 논의한다.
• 특수 SG 유형들(SG 단일 제어자, SR-SIT)을 소개하고 해석 가능성에 대한 주석을 첨부한다.
• 최근 MARL 서베이를 조사하여 방법의 분류 체계를 구축한다.
• Q-함수 분해, 다중 에이전트 소프트 러닝, 평균장 MARL, 온라인 MDP와 같은 현대 주제를 다룬다.

실험 결과

연구 질문

• RQ1 MARL을 모델링하는 데 사용되는 기본적인 게임 이론 형식은 무엇인가?
• RQ2 확률적 및 확장형 게임 프레임워크에서 MARL을 해결하기 위한 주요 알고리즘 계층은 무엇인가?
• RQ3 최근의 진전이 비정상성, 확장성, 다중 목표 학습과 같은 도전에 MARL에서 어떻게 대처하는가?
• RQ4 MARL을 제로합, 일반합, 평균장 설정으로 어떻게 분류할 수 있으며 각 범주에 어떤 방법이 적합한가?
• RQ5 현재 MARL 서베이에서 도출된 미해결 방향과 향후 연구 기회는 무엇인가?

주요 결과

• 이 논문은 게임 이론으로부터 MARL을 구조화되고 self-contained하게 다루어 기본 개념과 현대 방법을 연결한다.
• 핵심 MARL 형식으로 확률적 게임과 확장형 게임을 모두 다루고 Nash 균형과 같은 해법 개념을 논의한다.
• 다항적 복잡성, 비정상성, 다수 에이전트의 확장성 같은 주요 MARL 도전과제를 식별하고 설명한다.
• 다중 에이전트 설정에서 가치 기반, 정책 기반 및 액터-크리틱 방법 등 다양한 알고리즘적 접근을 조사한다.
• 평균장 MARL, 확률적 포텐셜 게임, 온라인 MDP와 같은 고급 주제를 도입하고 미래 연구에 대한 시사점을 논의한다.