[논문 리뷰] Is multiagent deep reinforcement learning the answer or the question? A brief survey

Pablo Hernández-Leal, Bilal Kartal외 1명|arXiv (Cornell University)|2018. 10. 12.

Reinforcement Learning in Robotics참고 문헌 232인용 수 58

한 줄 요약

이 논문은 다중에이전트 딥 강화학습(MDRL)을 종합적으로 조사하며, 단일에이전트 RL과 MAL의 핵심 구성요소를 검토하고 신규 연구자들을 위한 실용적 지침을 제공하며, 구현 및 계산적 과제를 철저히 분석한다. 기존 문헌을 통합하고 열린 연구 방향을 규명하여 MDRL 분야를 통합하고 발전시키는 것을 목표로 한다.

ABSTRACT

Deep reinforcement learning (RL) has achieved outstanding results in recent years. This has led to a dramatic increase in the number of applications and methods. Recent works have explored learning beyond single-agent scenarios and have considered multiagent learning (MAL) scenarios. Initial results report successes in complex multiagent domains, although there are several challenges to be addressed. The primary goal of this article is to provide a clear overview of current multiagent deep reinforcement learning (MDRL) literature. Additionally, we complement the overview with a broader analysis: (i) we revisit previous key components, originally presented in MAL and RL, and highlight how they have been adapted to multiagent deep reinforcement learning settings. (ii) We provide general guidelines to new practitioners in the area: describing lessons learned from MDRL works, pointing to recent benchmarks, and outlining open avenues of research. (iii) We take a more critical tone raising practical challenges of MDRL (e.g., implementation and computational demands). We expect this article will help unify and motivate future research to take advantage of the abundant literature that exists (e.g., RL and MAL) in a joint effort to promote fruitful research in the multiagent community.

연구 동기 및 목표

• 현재 다중에이전트 딥 강화학습(MDRL) 문헌에 대한 종합적인 개요를 제공하는 것.
• 단일에이전트 RL과 다중에이전트 학습(MAL)의 기초 구성요소를 MDRL 환경에 맞게 재검토하고 적응하는 것.
• 최근 벤치마크, 경험 학습 및 열린 연구 방향을 포함한 신규 이행자들을 위한 실용적 지침을 제공하는 것.
• 구현 복잡성과 계산적 요구사항과 같은 MDRL의 실용적 과제를 철저히 평가하는 것.
• 기존의 RL과 MAL 지식을 통합하여 다중에이전트 커뮤니티의 공동 노력으로 향후 연구를 통합하고 동인화하는 것.

제안 방법

• 복잡한 다중에이전트 도메인에서 최근의 MDRL 연구를 체계적으로 조사하고 분류하는 것.
• 전통적 RL과 MAL의 핵심 구성요소—예를 들어 가치 함수 근사, 책임 할당, 정책 기반 강화학습 방법—을 다중에이전트 딥 러닝 환경에 적응시키는 것.
• MADQN, 독립적 DQN, 다중에이전트 액터-크리틱 방법과 같은 알고리즘의 진화와 통합을 분석하는 것.
• Hanabi, 스타크래프트 다중에이전트 챌린지, 다중 로봇 주행 작업과 같은 MDRL에서 사용된 벤치마크 환경을 평가하는 것.
• 공개된 MDRL 방법에 대한 철저한 분석을 통해 반복적인 설계 패턴과 구현 오류를 규명하는 것.
• 확장성, 안정성, 샘플 효율성 기반의 MDRL 접근 방식 평가 프레임워크를 제안하는 것.

실험 결과

연구 질문

• RQ1 핵심 RL 및 MAL 구성요소는 다중에이전트 딥 강화학습에 어떻게 적응되었는가?
• RQ2 실제로 MDRL 시스템을 구현하고 확장할 때의 주요 과제는 무엇인가?
• RQ3 MDRL 성능 평가에 가장 효과적인 벤치마크와 평가 프로토콜는 무엇인가?
• RQ4 신규 이행자가 기존 MDRL 문헌에서 어떤 교훈을 얻어 일반적인 오류를 피할 수 있는가?
• RQ5 확장성과 안정성을 확보하는 데 기여할 수 있는 가장 유망한 열린 연구 방향은 무엇인가?

주요 결과

• MDRL는 복잡한 다중에이전트 도메인에서 성공을 거두었지만, 확장성과 안정성은 여전히 주요 과제이다.
• 구현 복잡성과 높은 계산적 요구사항은 MDRL 방법의 광범위한 도입을 방해하는 주요 장벽이다.
• 최근의 벤치마크인 스타크래프트 다중에이전트 챌린지와 한라비는 MDRL 알고리즘 평가에 유용한 테스트베드를 제공한다.
• 독립적 딥 Q네트워크(DQN)와 다중에이전트 액터-크리틱 방법은 유망한 잠재력을 보이지만, 종종 정책 분리와 비정적 상태 문제를 앓는다.
• 표준화된 평가 프로토콜의 부재로 인해 다양한 방법 간 비교가 어렵다.
• 단일에이전트 RL과 MAL의 통찰을 통합하는 것이 강건하고 일반화 가능한 MDRL 시스템을 발전시키는 데 필수적이다.