[논문 리뷰] QR-MIX: Distributional Value Function Factorisation for Cooperative Multi-Agent Reinforcement Learning

Jian Hu, Seth Austin Harding외 3명|arXiv (Cornell University)|2020. 09. 09.

Reinforcement Learning in Robotics참고 문헌 30인용 수 7

한 줄 요약

QR-MIX는 양자 회귀를 통해 은닉 양자 네트워크(IQN)를 이용해 QMIX와 통합함으로써 협동 다중 에이전트 강화 학습을 위한 분포 값 함수 인식 방법을 제안한다. 공동 상태-행동 값은 단일 스칼라 추정이 아닌 분포로 모델링되어 수익의 무작위성을 더 잘 포착할 수 있다. 또한 단조성 제약 조건을 완화하기 위해 민감도가 높은 손실 함수를 도입하여 안정성과 성능을 향상시키며, 스타크래프트 다중 에이전트 도전 대회(SMAC)에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In Cooperative Multi-Agent Reinforcement Learning (MARL) and under the setting of Centralized Training with Decentralized Execution (CTDE), agents observe and interact with their environment locally and independently. With local observation and random sampling, the randomness in rewards and observations leads to randomness in long-term returns. Existing methods such as Value Decomposition Network (VDN) and QMIX estimate the value of long-term returns as a scalar that does not contain the information of randomness. Our proposed model QR-MIX introduces quantile regression, modeling joint state-action values as a distribution, combining QMIX with Implicit Quantile Network (IQN). However, the monotonicity in QMIX limits the expression of joint state-action value distribution and may lead to incorrect estimation results in non-monotonic cases. Therefore, we proposed a flexible loss function to approximate the monotonicity found in QMIX. Our model is not only more tolerant of the randomness of returns, but also more tolerant of the randomness of monotonic constraints. The experimental results demonstrate that QR-MIX outperforms the previous state-of-the-art method QMIX in the StarCraft Multi-Agent Challenge (SMAC) environment.

연구 동기 및 목표

• 지역 관측과 확률적 환경으로 인해 장기 수익의 무작위성을 포착하지 못하는 협동 다중 에이전트 강화 학습에서 스칼라 값 추정의 한계를 해결하기 위해.
• 단일 스칼라가 아닌 분포로 공동 상태-행동 값의 값을 표현함으로써 수익 변동성에 대한 내성적 저항력을 향상시키기 위해.
• 비단조성 환경에서 잘못된 값 추정을 유발할 수 있는 QMIX의 엄격한 단조성 제약 조건을 완화하기 위해.
• 단조성의 특성을 근사하면서도 값 분포 추정의 표현력과 유연성을 높일 수 있는 민감도가 높은 손실 함수를 개발하기 위해.
• 스타크래프트 다중 에이전트 도전 대회(SMAC) 벤치마크에서 QMIX를 초월하는 뛰어난 성능을 달성하기 위해.

제안 방법

• QR-MIX는 양자 회귀를 QMIX와 통합하여 공동 상태-행동 값이 양자에 대한 분포로 표현되도록 하며, 단일 스칼라 추정이 아닌 분포로 모델링한다.
• 분포적 값 함수를 매개변수화하기 위해 은닉 양자 네트워크(IQN)를 사용하여 값 분포의 확률적 근사치를 제공한다.
• QMIX의 단조성 특성을 근사하는 데 사용되는 새로운 민감도가 높은 손실 함수를 도입하여, 비단조성 상황에서 더 표현력 있고 정확한 값 추정이 가능하도록 한다.
• 중앙집중적 훈련과 분산 실행(CTDE) 프레임워크를 유지하여 훈련 중에는 효과적인 공동 값 분해가 가능하지만, 추론 시에는 독립적인 실행을 유지한다.
• 분포 표현 덕분에 환경의 확률적 특성과 국소 관측으로 인한 불확실성과 변동성을 더 잘 포착할 수 있다.

실험 결과

연구 질문

• RQ1 확률적 수익 조건 하에서 협동 다중 에이전트 강화 학습에서 공동 상태-행동 값의 분포로 표현하는 것이 성능 향상에 기여하는가?
• RQ2 QMIX의 단조성 제약 조건을 완화하면 값 추정 정확도와 학습 안정성에 어떤 영향을 미치는가?
• RQ3 제안된 민감도가 높은 손실 함수는 다중 에이전트 강화 학습에서 비단조성 값 함수에 대한 내성적 저항력을 얼마나 향상시키는가?
• RQ4 양자 회귀를 QMIX와 통합하면 복잡한 다중 에이전트 환경에서 샘플 효율성과 최종 성능이 향상되는가?
• RQ5 스타크래프트 다중 에이전트 도전 대회(SMAC)에서 QR-MIX는 QMIX에 비해 성능과 내성적 저항력 면에서 어떻게 비교되는가?

주요 결과

• QR-MIX는 스타크래프트 다중 에이전트 도전 대회(SMAC) 환경에서 이전 최신 기술 수준의 방법인 QMIX를 능가한다.
• 양자 회귀를 통한 분포 표현은 스칼라 값 추정에 비해 수익의 무작위성 처리에 더 효과적이다.
• 민감도가 높은 손실 함수는 엄격한 단조성 제약 조건을 완화함으로써 비단조성 값 함수 상황에서 추정 정확도를 향상시킨다.
• 분포적 값 함수 덕분에 환경의 확률적 특성과 국소 관측의 변동성에 더 강건한 성능을 보인다.
• CTDE 프레임워크를 유지하여 효과적인 중앙집중적 훈련을 가능하게 하면서도 추론 시 분산 실행을 지원한다.