[논문 리뷰] Comparative Evaluation of Multi-Agent Deep Reinforcement Learning Algorithms.

Georgios Papoudakis, Filippos Christianos외 2명|arXiv (Cornell University)|2020. 06. 14.

Reinforcement Learning in Robotics참고 문헌 48인용 수 14

한 줄 요약

이 논문은 다양한 환경에서 독립 학습자, 중심적으로 훈련되는 분리된 에이전트, 가치 분해와 같은 세 가지 유형의 다중 에이전트 딥 강화 학습(MARL) 알고리즘을 평가한다. 결과적으로 성능은 환경 특성에 크게 의존하며, 독립 학습자가 종종 복잡한 방법보다 뛰어난 성능을 보이며, 모든 알고리즘이 희박한 보상 구조에서 어려움을 겪는다.

ABSTRACT

Multi-agent deep reinforcement learning (MARL) suffers from a lack of commonly-used evaluation tasks and criteria, making comparisons between approaches difficult. In this work, we evaluate and compare three different classes of MARL algorithms (independent learners, centralised training with decentralised execution, and value decomposition) in a diverse range of multi-agent learning tasks. Our results show that (1) algorithm performance depends strongly on environment properties and no algorithm learns efficiently across all learning tasks; (2) independent learners often achieve equal or better performance than more complex algorithms; (3) tested algorithms struggle to solve multi-agent tasks with sparse rewards. We report detailed empirical data, including a reliability analysis, and provide insights into the limitations of the tested algorithms.

연구 동기 및 목표

• 다중 에이전트 딥 강화 학습(MARL)에서 표준화된 평가 작업과 기준의 부족을 해결하기 위해.
• 독립 학습자, 중심적으로 훈련되고 분리된 실행 방식, 가치 분해와 같은 세 가지 주요 MARL 알고리즘 클래스의 성능을 비교하기 위해.
• 다양한 환경 특성과 보상 구조에서 각 알고리즘 클래스가 어떻게 성능을 내는지 파악하기 위해.
• MARL 방법의 투명한 벤치마킹을 위한 실증 데이터와 신뢰성 분석을 제공하기 위해.

제안 방법

• 독립 학습자, 중심적 훈련과 분리된 실행, 가치 분해와 같은 세 가지 MARL 알고리즘 클래스의 평가.
• 부분 관찰 가능성, 책임 할당 복잡도, 보상 희박성의 정도가 다른 다양한 다중 에이전트 환경에 알고리즘 적용.
• 환경 간 학습 효율성, 최종 성능, 훈련 안정성에 대한 실증적 비교.
• 다중 무작위 시드를 통한 결과 일관성 평가를 위한 신뢰성 분석 통합.
• 결과의 재현성과 비교 가능성을 확보하기 위해 표준 MARL 벤치마크 사용.

실험 결과

연구 질문

• RQ1 다양한 성질을 가진 다중 에이전트 환경에서 서로 다른 MARL 알고리즘 클래스는 어떻게 성능을 내는가?
• RQ2 중심적 훈련과 분리된 실행 또는 가치 분해가 독립 학습자보다 일관되게 뛰어나게 되는가?
• RQ3 희박한 보상 구조는 MARL 알고리즘의 학습 성능에 어떻게 影향을 미치는가?
• RQ4 다중 훈련 런에서 가장 높은 신뢰성과 일관성을 보이는 알고리즘 클래스는 무엇인가?

주요 결과

• 알고리즘 성능은 환경 특성에 크게 의존하며, 어떤 단일 알고리즘도 모든 작업에서 뛰어난 성능를 내지 못한다.
• 독립 학습자가 종종 더 복잡한 MARL 접근 방식보다 동일하거나 뛰어난 성능를 보이며, 아키텍처의 복잡성이 성능 향상에 기여한다는 가정에 도전한다.
• 모든 테스트된 알고리즘은 희박한 보상을 가진 다중 에이전트 과제에서 심각한 어려움을 겪으며, 이러한 조건에서 책임 할당 문제에 지속적인 과제가 있음을 시사한다.
• 신뢰성 분석 결과, 특히 복잡하거나 보상이 희박한 환경에서는 훈련 런 간 성능이 일관되지 않음을 확인하였으며, 이는 현재 MARL 방법의 불안정성을 드러낸다.