[논문 리뷰] Comparative Evaluation of Cooperative Multi-Agent Deep Reinforcement Learning Algorithms

Georgios Papoudakis, Filippos Christianos외 2명|arXiv (Cornell University)|2020. 06. 14.

Reinforcement Learning in Robotics참고 문헌 31인용 수 7

한 줄 요약

이 논문은 독립 학습, 중심화된 다중 에이전트 정책 그래디언트, 가치 분해법의 세 가지 유형의 협동적 다중 에이전트 딥 강화 학습 알고리즘을 다양한 완전 협동 작업에서 평가한다. 각 방법이 언제 뛰어난 성능을 발휘하는지에 대한 경험적 벤치마크와 통찰을 제공하며, 특히 비정상성 문제로 인해 제한될 것으로 예상되지만 놀랍게 효과적인 독립 학습과 특정 설정에서 뚜렷한 이점이 있는 가치 분해법의 성능을 드러낸다.

ABSTRACT

Multi-agent deep reinforcement learning (MARL) suffers from a lack of commonly-used evaluation tasks and criteria, making comparisons between approaches difficult. In this work, we evaluate and compare three different classes of MARL algorithms (independent learning, centralised multi-agent policy gradient, and value decomposition) in a diverse range of fully-cooperative multi-agent learning tasks. Our experiments can serve as a reference for the expected performance of algorithms across different learning tasks. We also provide further insight about (1) when independent learning might be surprisingly effective despite non-stationarity, (2) when centralised training should (and shouldn't) be applied and (3) which benefits value decomposition can bring.

연구 동기 및 목표

• 다중 에이전트 딥 강화 학습(MARL) 분야에서 표준화된 평가 작업과 기준의 부족으로 인해 알고리즘 간 공정한 비교가 어려운 문제를 해결하기 위해.
• 독립 학습, 중심화된 다중 에이전트 정책 그래디언트, 가치 분해법의 세 가지 주요 MARL 알고리즘 클래스를 다양한 완전 협동 작업에서 평가하고 비교하기 위해.
• 다양한 학습 환경에서 MARL 알고리즘의 기준 성능 베이스라인을 제공하기 위해.
• 비정상성 문제로 인해 성능이 떨어질 것으로 예상되지만 독립 학습이 놀랍게 잘 작동하는 조건을 조사하기 위해.
• 중심화된 훈련이 언제 유익한지, 언제 피해야 하는지 명확히 하고, 가치 분해법의 실용적 이점을 평가하기 위해.

제안 방법

• 연구는 일관된 실험 조건에서 알고리즘 성능을 평가하기 위해 완전 협동 다중 에이전트 환경의 세트를 활용한다.
• 독립 학습은 각 에이전트가 공유된 정책 파라미터 없이 독립적으로 학습하는 독립적 딥 Q네트워크(DQN) 또는 정책 그래디언트 방법을 사용한다.
• 중심화된 다중 에이전트 정책 그래디언트 방법은 훈련 중에 전체 상태 정보에 접근할 수 있도록 공유된 글로벌 정책 네트워크를 사용하지만, 추론은 분산형 유지된다.
• 가치 분해 방법은 연합 행동가치 함수를 개별 가치 함수로 분해하여 협동 환경에서 신용 할당과 훈련 안정성을 가능하게 한다.
• 다양한 정도의 부분 관측 가능성, 신용 할당 복잡도, 상태공간 구조를 가진 여러 작업에서 실험을 수행한다.
• 누적 수익, 학습 안정성, 반복 실행 후 최종 작업 성공률을 측정하여 성능을 평가한다.

실험 결과

연구 질문

• RQ1 비정상성 문제로 인해 제한될 것으로 예상되지만, 어떤 종류의 협동 다중 에이전트 작업에서 독립 학습이 놀랍게 잘 작동하는가?
• RQ2 중심화된 훈련은 언제 유익한가, 어떤 상황에서는 독립 학습보다 성능 향상이 이루어지지 않는가?
• RQ3 가치 분해법이 협동 MARL에서 어떤 구체적인 이점을 제공하며, 이러한 이점이 가장 두드러지는 조건은 무엇인가?
• RQ4 다양한 작업에서 샘플 효율성, 수렴 속도, 최종 성능 측면에서 세 알고리즘 클래스 간의 비교는 어떻게 이루어지는가?

주요 결과

• 독립 학습은 보상이 희박하고 상태 관측 가능성이 낮은 작업에서 뛰어난 성능을 발휘하여, 비정상성 문제로 인한 한계가 있다고 여겨지는 기존 가정을 도전한다.
• 중심화된 훈련은 보상 할당이 빈번하고 상태 복잡도가 높은 작업에서 성능을 크게 향상시키지만, 간단하거나 보상이 희박한 환경에서는 거의 유의미한 이점이 없다.
• 가치 분해법은 공동 행동 조율과 복잡한 신용 할당이 필요한 작업에서 독립 학습과 중심화된 정책 그래디언트를 모두 능가하는 성능을 보인다.
• 가치 분해법의 이점은 부분 관측 가능성과 고차원 행동 공간이 있는 환경에서 가장 두드러지며, 이는 안정적이고 샘플 효율적인 학습을 가능하게 한다.
• 이론적 이점이 있음에도 불구하고 중심화된 훈련이 항상 성능 향상을 보장하지는 않으며, 저복잡도 환경에서는 간단한 독립 방법에 비해 뒤처질 수 있다.
• 이 연구는 향후 MARL 알고리즘 평가에 사용할 수 있는 벤치마크 작업 세트와 성능 기준을 확립하였다.