[논문 리뷰] Dealing with Non-Stationarity in Multi-Agent Deep Reinforcement Learning

Georgios Papoudakis, Filippos Christianos외 2명|arXiv (Cornell University)|2019. 06. 11.

Reinforcement Learning in Robotics참고 문헌 36인용 수 124

한 줄 요약

논문은 다에이전트 심층 강화학습에서 비정상성(non-stationarity)이 어떻게 발생하는지 조사하고, 이를 완화하기 위한 방법들을 중앙집중형 비평가, 분산 학습, 상대방 모델링, 메타 학습, 커뮤니케이션을 포함해 분류하며, 남은 문제점과 향후 방향을 제시한다.

ABSTRACT

Recent developments in deep reinforcement learning are concerned with creating decision-making agents which can perform well in various complex domains. A particular approach which has received increasing attention is multi-agent reinforcement learning, in which multiple agents learn concurrently to coordinate their actions. In such multi-agent environments, additional learning problems arise due to the continually changing decision-making policies of agents. This paper surveys recent works that address the non-stationarity problem in multi-agent deep reinforcement learning. The surveyed methods range from modifications in the training procedure, such as centralized training, to learning representations of the opponent's policy, meta-learning, communication, and decentralized learning. The survey concludes with a list of open problems and possible lines of future research.

연구 동기 및 목표

• 다에이전트 DRL에서 비정상성의 동기를 부여하고 정의하며 학습 안정성에 미치는 영향을 설명한다.
• 트레이닝 아키텍처와 정보 가정에 걸친 비정상성 문제를 다루는 최근 접근법을 조사하고 분류한다.
• 다음 연구를 위한 유망한 방향과 다에이전트 비정상성의 남은 문제를 식별한다.

제안 방법

• 다에이전트 DRL에서 비정상성에 대한 기존 방법을 검토하고 분류한다.
• 학습/실행 아키텍처, 모델링, 상대 정보, 알고리즘에 대한 분류군을 제공한다.
• 대표 알고리즘과 그 실험 설정을 포괄적 표로 요약한다.

실험 결과

연구 질문

• RQ1 다에이전트 딥 강화학습에서 비정상성을 다루기 위해 제안된 접근법은 무엇인가?
• RQ2 중앙집중식 대 분산식 학습, 상대 모델링, 메타 학습, 학습 표현, 커뮤니케이션이 비정상성 하에서 학습을 안정화하는 데 어떤 기여를 하는가?
• RQ3 이 영역의 남은 문제점과 향후 연구 방향은 무엇인가?

주요 결과

• 중앙집중 비평가와 분산된 에이전트는 정책 기울기를 공동 관찰/행동에 기초해 조건화함으로써 학습을 안정화한다.
• 상대방 모델링과 학습 표현은 비정상성을 완화하고 다양한 상대와의 일반화 성능을 향상시킬 수 있다.
• 메타 학습 접근법(예: MAML-영감)은 비정상적 역학에 빠르게 적응하는 데 도움을 준다.
• 자기학습(self-play)와 안정화된 경험 재생은 비정상성 하에서 효과적인 분산 전략이다.
• 에이전트간의 커뮤니케이션은 정책 조정을 돕고 다에이전트 설정에서 학습을 안정화하는 유용한 메커니즘으로 나타난다.