[논문 리뷰] Deep Multiagent Reinforcement Learning: Challenges and Directions

Annie Wong, Thomas Bäck외 2명|arXiv (Cornell University)|2021. 06. 29.

Experimental Behavioral Economics Studies인용 수 10

한 줄 요약

이 논문은 딥 다중에이전트 강화학습(DMARL)을 조사하며, 비정상성, 부분 관찰 가능성, 차원의 극복 문제와 같은 핵심 과제를 해결하기 위해 중심적 훈련과 분산 실행, 상대 모델링, 통신, 조율, 보상 형상화의 다섯 핵심 연구 분야를 규명한다. 비정상성, 부분 관찰 가능성, 차원의 극복 문제와 같은 핵심 과제를 해결하기 위해 중심적 훈련과 분산 실행, 상대 모델링, 통신, 조율, 보상 형상화의 다섯 핵심 연구 분야를 규명한다. 이는 심리학과 사회학의 통찰을 통합하여 더 견고하고 인간 같은 에이전트를 개발하기 위한 다학문적 접근을 주장한다.

ABSTRACT

This paper surveys the field of deep multiagent reinforcement learning. The combination of deep neural networks with reinforcement learning has gained increased traction in recent years and is slowly shifting the focus from single-agent to multiagent environments. Dealing with multiple agents is inherently more complex as (a) the future rewards depend on multiple players' joint actions and (b) the computational complexity increases. We present the most common multiagent problem representations and their main challenges, and identify five research areas that address one or more of these challenges: centralised training and decentralised execution, opponent modelling, communication, efficient coordination, and reward shaping. We find that many computational studies rely on unrealistic assumptions or are not generalisable to other settings; they struggle to overcome the curse of dimensionality or nonstationarity. Approaches from psychology and sociology capture promising relevant behaviours, such as communication and coordination, to help agents achieve better performance in multiagent settings. We suggest that, for multiagent reinforcement learning to be successful, future research should address these challenges with an interdisciplinary approach to open up new possibilities in multiagent reinforcement learning.

연구 동기 및 목표

• 딥 다중에이전트 강화학습(DMARL)의 주요 과제, 특히 비정상성, 부분 관찰 가능성, 고차원 상태-행동 공간을 규명하고 분류하는 것.
• DMARL의 기존 연구 접근법을 검토하고, 다양한 환경에서의 일반화 가능성과 확장성에 대한 그들의 한계를 평가하는 것.
• 핵심 DMARL 과제에 대한 해결책으로 중심적 훈련과 분산 실행, 상대 모델링, 통신, 조율, 보상 형상화의 다섯 핵심 연구 방향을 제안하는 것.
• 심리학, 사회학, 진화 알고리즘을 통합한 다학문적 접근을 통해 에이전트의 추론 능력, 학습 효율성, 실생활 적용 가능성 향상을 주장하는 것.
• 현재 방법의 과도한 비현실적 가정과 환경 간 일반화 부족 등의 격차를 부각시켜 향후 연구를 이끄는 것.

제안 방법

• 알고리즘 유형이 아닌 다중에이전트 문제 정식화의 본질적 과제에 기반한 DMARL 연구의 분류 체계를 제안한다.
• 중심적 훈련과 분산 실행(CTDE), 상대 모델링, 통신, 조율, 보상 형상화의 다섯 핵심 연구 분야에 따라 기존 DMARL 방법을 검토하고 분류한다.
• 가치 기반 및 정책 기반 방법을 포함한 딥 강화학습 기법을 분석하며, 스타크래프트와 타깃 캐처 플래그와 같은 복잡한 환경에의 적용을 다룬다.
• 제한된 합리성, 히ュ리스틱, 내재 동기, 인지적 의사결정 과정과 같은 심리학적 개념을 활용해 에이전트 설계를 개선하고, 보상이 희박한 환경에서의 학습을 향상시킨다.
• 협력과 소통에 대한 사회학적 통찰을 통합하여 게임 이론적 가정을 초월한 현실적인 에이전트 상호작용을 모델링한다.
• arXiv, 학술지, 컫퍼런스, 박사 학위 논문 등을 활용한 체계적 문헌 고찰을 통해 관련성, 방법론의 타당성, 일반화 가능성 기준으로 연구를 평가한다.

실험 결과

연구 질문

• RQ1 딥 다중에이전트 강화학습에서 비정상성, 부분 관찰 가능성, 차원의 극복 문제와 관련된 주요 과제는 무엇인가?
• RQ2 특히 딥 러닝 기반의 현재 DMARL 방법들은 이러한 과제를 현실적인 환경에서 어떻게 다루거나 다루지 못하는가?
• RQ3 기존 접근법이 다양한 다중에이전트 설정 간 일반화에 실패하거나 비현실적 가정에 얼마나 의존하는가?
• RQ4 심리학과 사회학의 통찰은 다중에이전트 강화학습 시스템의 설계와 성능 향상에 어떻게 기여할 수 있는가?
• RQ5 진화 알고리즘과 인지 모델링과 같은 다학문적 방법은 견고하고 확장 가능한 DMARL을 발전시키는 데 어떤 역할을 할 수 있는가?

주요 결과

• 현재 많은 DMARL 연구는 일반화 가능성과 실생활 적용 가능성에 제한을 둔 과도하게 단순화되거나 비현실적인 가정에 의존하고 있다.
• 차원의 극복 문제와 비정상성은 여전히 부분 관찰 가능하고 대규모 다중에이전트 환경에서 중요한 장벽으로 남아 있다.
• 중심적 훈련과 분산 실행(CTDE)은 스타크래프트와 타깃 캐처 플래그와 같은 복잡한 게임에서 뛰어난 성능을 보이며, 공동 행동 의존성 처리에 효과적임을 입증했다.
• 제한된 합리성과 히ュ리스틱과 같은 심리학적 개념은 에이전트의 의사결정 효율성 향상과 인지 부담 감소에 유망한 길을 제시한다.
• 내재 동기와 창의적 탐색 메커니즘을 통합하면 전통적 방법이 실패하는 보상이 희박한 환경에서 학습을 향상시킬 수 있다.
• 특히 심리학과 사회학에서의 통합은 인간 같은 협력, 소통, 추론을 모델링하는 데 도움이 되어 더 견고하고 해석 가능한 다중에이전트 시스템을 만들어낸다.