[논문 리뷰] Softmax with Regularization: Better Value Estimation in Multi-Agent Reinforcement Learning.

Ling Pan, Tabish Rashid외 3명|arXiv (Cornell University)|2021. 03. 22.

Reinforcement Learning in Robotics참고 문헌 33인용 수 3

한 줄 요약

이 논문은 값 정규화와 소프트맥스 기반 행동가치 변환의 조합을 통해 다중 에이gent Q-학습에서 과대추정을 줄이는 데 목적이 있는 새로운 방법인 정규화를 적용한 소프트맥스(SR)를 제안한다. QMIX 및 기타 다중 에이gent 강화학습(MARL) 알고리즘에 적용했을 때, SR은 학습을 안정화시키고 협동 환경 전반에서 일관된 성능 향상을 이룬다. 이는 도전적인 스타크래프트 II 미크로매니지먼트 과제를 포함한다.

ABSTRACT

Overestimation in $Q$-learning is an important problem that has been extensively studied in single-agent reinforcement learning, but has received comparatively little attention in the multi-agent setting. In this work, we empirically demonstrate that QMIX, a popular $Q$-learning algorithm for cooperative multi-agent reinforcement learning (MARL), suffers from a particularly severe overestimation problem which is not mitigated by existing approaches. We rectify this by designing a novel regularization-based update scheme that penalizes large joint action-values deviating from a baseline and demonstrate its effectiveness in stabilizing learning. We additionally propose to employ a softmax operator, which we efficiently approximate in the multi-agent setting, to further reduce the potential overestimation bias. We demonstrate that our Softmax with Regularization (SR) method, when applied to QMIX, accomplishes its goal of avoiding severe overestimation and significantly improves performance in a variety of cooperative multi-agent tasks. To demonstrate the versatility of our method, we apply it to other $Q$-learning based MARL algorithms and achieve similar performance gains. Finally, we show that our method provides a consistent performance improvement on a set of challenging StarCraft II micromanagement tasks.

연구 동기 및 목표

• 기존 기법으로는 해결되지 않는, 선도적인 다중 에이gent 강화학습 알고리즘인 QMIX에서 발생하는 심각한 과대추정 문제를 해결한다.
• 기본값에서 벗어난 큰 연합 행동가치를 벌점하는 정규화 기반 업데이트 방식을 개발하여 학습을 안정화시킨다.
• 다중 에이gent 환경에서 과대추정 편향을 추가로 감소시키기 위해 소프트맥스 연산자를 도입한다.
• 다양한 협동 MARL 환경에서 제안된 방법의 효과성과 유연성을 입증한다.
• 도전적인 스타크래프트 II 미크로매니지먼트 과제에서 일관된 성능 향상을 달성한다.

제안 방법

• 학습된 기본값에서의 연합 행동가치의 벗어남을 벌점하는 정규화 기반 방식을 제안하여 QMIX에서 과대추정을 줄인다.
• 큰 값 추정을 억제하고 추정 정확도를 향상시키기 위해 행동가치의 소프트맥스 기반 변환을 도입한다.
• 계산의 실현 가능성을 유지하기 위해 다중 에이gent 환경에 맞게 최적화된 소프트맥스 연산자의 효율적 근사치를 설계한다.
• 정규화 및 소프트맥스 구성 요소를 QMIX 학습 파이프라인에 통합하여 정규화를 적용한 소프트맥스(SR) 방법을 구성한다.
• QMIX를 초월한 다른 Q-학습 기반 MARL 알고리즘에 SR을 적용하여 일반화 능력을 평가한다.
• 정규화를 안정적으로 유도하고 학습 중 값 추정의 안정성을 확보하기 위해 기본값 가치 함수를 사용한다.

실험 결과

연구 질문

• RQ1 QMIX는 협동 다중 에이gent 환경에서 얼마나 심각한 과대추정 문제를 겪는가?
• RQ2 정규화 기반 업데이트 방식은 다중 에이gent Q-학습에서 과대추정을 효과적으로 줄일 수 있는가?
• RQ3 소프트맥스 연산자를 통합함으로써 MARL에서 과대추정 편향을 추가로 완화할 수 있는가?
• RQ4 제안된 정규화를 적용한 소프트맥스(SR) 방법은 다양한 협동 MARL 과제에서 학습 안정성과 성능을 어떻게 향상시키는가?
• RQ5 SR은 다른 Q-학습 기반 MARL 알고리즘으로 일반화되어 일관된 성능 향상을 이끌 수 있는가?

주요 결과

• QMIX는 협동 다중 에이gent 과제에서 특히 심각한 과대추정 문제를 보이며, 기존 방법으로는 이를 해결하지 못한다.
• 제안된 정규화를 적용한 소프트맥스(SR) 방법은 QMIX에서 과대추정을 효과적으로 줄이고 학습을 안정화시킨다.
• SR은 다양한 협동 다중 에이gent 환경에서 뚜렷한 성능 향상을 이룬다.
• 이 방법은 잘 일반화되어, 다른 Q-학습 기반 MARL 알고리즘에 적용했을 때도 유사한 성능 향상을 제공한다.
• SR는 도전적인 스타크래프트 II 미크로매니지먼트 과제에서 일관되고 측정 가능한 향상을 달성하여 그 강건성과 확장성의 우수성을 입증한다.