[논문 리뷰] Hierarchical Deep Multiagent Reinforcement Learning with Temporal Abstraction

Hongyao Tang, Jianye Hao외 9명|arXiv (Cornell University)|2018. 09. 25.

Reinforcement Learning in Robotics참고 문헌 38인용 수 33

한 줄 요약

이 논문은 협동적 다중에이전트 환경에서 희박하고 지연된 보상 문제를 해결하기 위해 시간 추상화를 통한 계층적 딥 다중에이전트 강화학습을 제안한다. 작업을 고수준 조율과 저수준 스킬로 분해하고, 새로운 경험 재생 메커니즘(ACER)을 도입함으로써 시간 스케일에 걸쳐 효율적인 학습을 가능하게 하며, Fever Basketball Defense 및 Multiagent Trash Collection와 같은 희박보상 환경에서 기존 MARL 방법에 비해 뚜렷이 뛰어난 성능을 기록한다.

ABSTRACT

Multiagent reinforcement learning (MARL) is commonly considered to suffer from non-stationary environments and exponentially increasing policy space. It would be even more challenging when rewards are sparse and delayed over long trajectories. In this paper, we study hierarchical deep MARL in cooperative multiagent problems with sparse and delayed reward. With temporal abstraction, we decompose the problem into a hierarchy of different time scales and investigate how agents can learn high-level coordination based on the independent skills learned at the low level. Three hierarchical deep MARL architectures are proposed to learn hierarchical policies under different MARL paradigms. Besides, we propose a new experience replay mechanism to alleviate the issue of the sparse transitions at the high level of abstraction and the non-stationarity of multiagent learning. We empirically demonstrate the effectiveness of our approaches in two domains with extremely sparse feedback: (1) a variety of Multiagent Trash Collection tasks, and (2) a challenging online mobile game, i.e., Fever Basketball Defense.

연구 동기 및 목표

• 협동적 다중에이전트 강화학습(MARL)에서 희박하고 지연된 보상 문제로 인해 효과적인 정책 학습이 어려운 문제를 해결하기 위해.
• 딥 러닝 환경에서 시간 추상화를 통한 계층적 MARL을 탐색하여 다양한 시간 스케일에서의 학습을 가능하게 하기 위해.
• 비정상성과 희박한 고수준 전이 문제를 해결하기 위해 새로운 경험 재생 메커니즘을 통해 다중에이전트 학습의 안정성을 향상시키기 위해.
• 실제 환경에 유사한 환경에서 다양한 MARL 파라다임에 걸쳐 계층적 아키텍처의 효과성을 입증하기 위해.

제안 방법

• 다양한 MARL 파라다임에 맞게 설계된 세 가지 계층적 딥 MARL 아키텍처를 제안: h-IL(계층적 독립 학습자), h-Comm(계층적 통신 네트워크), h-Qmix(계층적 Qmix).
• 이중 계층 구조를 도입: 저수준 정책은 기본 스킬을 학습하고, 고수준 정책은 보조 목표와 보조 전이에 기반해 조율한다.
• 고수준 전이에 보조 전이를 통합하고 동시 재생을 가능하게 하여 학습 안정성을 높인 Augmented Concurrent Experience Replay(ACER)를 설계한다.
• h-Qmix와 h-Comm은 중심집중적 학습과 분산실행(CTDE)을 사용하지만, h-IL은 고수준 조율을 포함한 독립 학습 방식을 사용한다.
• 시간 추상화를 활용해 장기적 과제를 관리 가능한 보조 과제로 분해함으로써 신용 할당과 탐색의 난이도를 감소시킨다.
• h-Qmix에서는 공동 행동가치 함수를 사용하고, h-Comm에서는 명시적 통신을 통해 고수준에서의 조율을 향상시킨다.

실험 결과

연구 질문

• RQ1 시간 추상화를 통한 계층적 딥 MARL이 희박하고 지연된 보상을 가진 환경에서 협동 정책을 효과적으로 학습할 수 있는가?
• RQ2 저수준 스킬과 고수준 조율에서 다중 시간 스케일에서의 학습이 MARL의 샘플 효율성과 성능을 어떻게 향상시키는가?
• RQ3 제안된 ACER 메커니즘이 희박한 고수준 전이와 다중에이전트 학습의 비정상성 문제를 어느 정도 완화하는가?
• RQ4 독립형, 통신 기반, 가치 기반 파라다임의 다양한 MARL 아키텍처가 희박보상 환경에서 계층적 추상화를 통해 어떻게 성능을 내는가?

주요 결과

• h-IL은 IL-DQN과 Low-Level-Only를 능가하며, 희박보상 환경에서 시간 추상화를 통한 계층적 학습의 가치를 입증한다.
• h-Comm과 h-Qmix는 h-IL보다 뛰어난 성능을 기록했으며, Fever Basketball Defense에서 h-Comm은 36%의 블록샷 레이트를, h-Qmix는 37%의 블록샷 레이트를 기록했다.
• ACER는 고수준 정책 학습을 크게 향상시켰다: h-IL-ACER는 블록샷 레이트를 0.27에서 0.36으로 상승시켜 기본 h-IL를 초월하고 h-Comm 수준의 성능에 가까워졌다.
• h-Comm과 h-Qmix는 각각 공동 수비(더 높은 블록률)와 1:1 수비(더 나은 커버리지) 전술을 채택했으며, 성능과 전략적 차이에서 이를 확인할 수 있었다.
• 비동기 종료 설정에서 성능이 3–5% 감소하여, 비동기 계층적 MARL에서 비정상성 문제의 도전성은 여전히 존재함을 시사한다.
• ACER는 h-IL에 비해 h-Comm보다 더 큰 향상을 보였으며, 이는 독립 학습에 비해 통신 또는 가치 기반 아키텍처에서 더 효과적으로 안정성을 확보할 수 있음을 시사한다.