[논문 리뷰] Multiagent Deep Reinforcement Learning: Challenges and Directions Towards Human-Like Approaches.

Annie Wong, Thomas Bäck외 2명|arXiv (Cornell University)|2021. 06. 29.

Reinforcement Learning in Robotics참고 문헌 136인용 수 12

한 줄 요약

이 논문은 다중에이전트 딥 강화학습(MADRL)을 조사하며, 중심화된 훈련과 분산 실행, 상대방 모델링, 통신, 협력, 보상 형상화를 핵심 연구 방향으로 지목한다. 비정상성과 차원의 극복 문제를 해결하기 위해서는 인간과 유사한 다중에이전트 시스템을 가능하게 하기 위해 심리학과 사회학에서 영감을 얻은 다학제적 접근이 필요하다고 주장한다.

ABSTRACT

This paper surveys the field of multiagent deep reinforcement learning. The combination of deep neural networks with reinforcement learning has gained increased traction in recent years and is slowly shifting the focus from single-agent to multiagent environments. Dealing with multiple agents is inherently more complex as (a) the future rewards depend on the joint actions of multiple players and (b) the computational complexity of functions increases. We present the most common multiagent problem representations and their main challenges, and identify five research areas that address one or more of these challenges: centralised training and decentralised execution, opponent modelling, communication, efficient coordination, and reward shaping. We find that many computational studies rely on unrealistic assumptions or are not generalisable to other settings; they struggle to overcome the curse of dimensionality or nonstationarity. Approaches from psychology and sociology capture promising relevant behaviours such as communication and coordination. We suggest that, for multiagent reinforcement learning to be successful, future research addresses these challenges with an interdisciplinary approach to open up new possibilities for more human-oriented solutions in multiagent reinforcement learning.

연구 동기 및 목표

• 비정상성과 차원 문제를 포함한 다중에이전트 딥 강화학습의 핵심 과제를 규명하기.
• 중심화된 훈련과 분산 실행과 같은 기존 접근 방식과 그 제한 사항을 검토하기.
• 심리학과 사회학에서의 통찰이 다중에이전트 시스템의 협력과 통신을 향상시키는 데 어떻게 기여할 수 있는지 탐색하기.
• 더 일반화 가능하고 인간과 유사한 다중에이전트 학습 솔루션을 개발하기 위해 다학제적 연구를 촉진하기.
• 다중에이전트 환경에서 공동 행동과 보상 의존성의 복잡성을 다루는 주요 연구 분야를 매핑하기.

제안 방법

• 논문은 기존의 다중에이전트 문제 표현 방식과 그 내재된 과제들, 예를 들어 공동 행동 의존성과 계산 복잡도를 조사한다.
• 현재의 접근 방식을 다섯 가지 연구 분야로 분류한다: 중심화된 훈련과 분산 실행, 상대방 모델링, 통신, 효율적 협력, 보상 형상화.
• 비정상성과 고차원 상태-행동 공간을 다룰 수 있는 능력, 가정의 타당성, 일반화 능력 등을 기준으로 방법을 평가한다.
• 기계 학습 과제와 인간의 사회적 행동 간의 유사성을 제시하며, 심리학적 및 사회학적 원리가 더 나은 다중에이전트 설계에 기여할 수 있음을 제안한다.
• 기존의 계산 기반 연구가 비현실적인 가정에 의존하고 일반화 능력이 제한되어 있음을 비판한다.
• 미래의 MADRL 연구를 이끄는 데 있어 인지 과학과 사회 과학의 통찰을 통합한 다학제적 프레임워크를 제안한다.

실험 결과

연구 질문

• RQ1 다중에이전트 딥 강화학습은 공동 행동 공간에서의 차원의 극복 문제와 비정상성을 어떻게 극복할 수 있는가?
• RQ2 중심화된 훈련과 분산 실행이 스케일러블한 다중에이전트 학습을 가능하게 하는 데 어떤 역할을 할 수 있는가?
• RQ3 다중에이전트 시스템의 통신 및 협력 메커니즘은 인간과 유사한 협업을 반영하도록 어떻게 모델링할 수 있는가?
• RQ4 비정상적인 다중에이전트 환경에서 정책 학습을 향상시키기 위해 상대방 모델링은 어떤 방식으로 기여할 수 있는가?
• RQ5 다중에이전트 시스템에서 인간 중심의 행동을 촉진하기 위해 보상 형상화는 어떻게 설계되어야 하는가?

주요 결과

• 다중에이전트 강화학습 분야의 많은 기존 계산 연구는 비현실적인 가정에 의존하고 다양한 환경 간 일반화 능력이 떨어진다.
• 차원의 극복 문제와 비정상성은 복잡한 공동 행동 공간에서 스케일러블한 다중에이전트 학습을 위한 주요 장벽으로 남아 있다.
• 중심화된 훈련과 분산 실행은 유망한 방향성을 보이지만, 정책 일반화와 확장성과 관련된 과제를 완전히 해결하지 못한다.
• 인간의 사회적 행동에서 영감을 얻은 통신 및 협력 메커니즘은 더 견고하고 적응력 있는 다중에이전트 시스템을 위한 실현 가능한 길을 제공한다.
• 보상 형상화와 상대방 모델링은 핵심이지만 아직 개발이 부족한 분야이며, 인간과 유사한 성능을 달성하기 위해서는 더 많은 다학제적 통합이 필요하다.
• 논문은 향후 MADRL의 발전이 현재 기계 학습 접근 방식의 근본적 한계를 해결하기 위해 심리학과 사회학의 통찰을 통합하는 데 달려 있다고 결론짓는다.