[논문 리뷰] QTRAN++: Improved Value Transformation for Cooperative Multi-Agent Reinforcement Learning

Kyunghwan Son, Sungsoo Ahn외 3명|arXiv (Cornell University)|2020. 06. 22.

Reinforcement Learning in Robotics참고 문헌 27인용 수 17

한 줄 요약

이 논문은 QTRAN++를 제안하며, QTRAN을 개선한 가치 기반 다중 에이gent 강화학습 알고리즘으로, 학습 안정성을 향상시키고, 가치 추정기 간의 엄격한 역할 분리 제거, 다중 헤드 믹싱 네트워크 도입을 통해 성능을 향상시킨다. 이는 스타크래프트 다중 에이전트 챌린지(SMAC) 환경에서 기존 방법들, 특히 QMIX를 포함한 이전 방법들보다 우수한 최신 성능을 달성한다.

ABSTRACT

QTRAN is a multi-agent reinforcement learning (MARL) algorithm capable of learning the largest class of joint-action value functions up to date. However, despite its strong theoretical guarantee, it has shown poor empirical performance in complex environments, such as Starcraft Multi-Agent Challenge (SMAC). In this paper, we identify the performance bottleneck of QTRAN and propose a substantially improved version, coined QTRAN++. Our gains come from (i) stabilizing the training objective of QTRAN, (ii) removing the strict role separation between the action-value estimators of QTRAN, and (iii) introducing a multi-head mixing network for value transformation. Through extensive evaluation, we confirm that our diagnosis is correct, and QTRAN++ successfully bridges the gap between empirical performance and theoretical guarantee. In particular, QTRAN++ newly achieves state-of-the-art performance in the SMAC environment. The code will be released.

연구 동기 및 목표

• QTRAN의 강력한 이론적 보장과 복잡한 환경(예: SMAC)에서의 열악한 경험적 성능 사이의 격차를 해소하기 위해.
• 수정된 손실 함수와 동적 진짜 가치 추정을 통해 QTRAN의 학습 목표를 안정화시키기 위해.
• 진짜 및 변환된 행동가치 추정기 간의 엄격한 역할 분리를 제거하여 표현력과 학습 안정성을 향상시키기 위해.
• 다중 헤드 믹싱 네트워크를 통해 비분해 가능한 작업에서 편향 없는 보상 할당을 가능하게 하기 위해.
• 음성 보상 메커니즘이 있는 다양한 시나리오를 포함한 SMAC에서 최신 성능을 달성하기 위해.

제안 방법

• 최적화 중 진짜 행동가치 추정기를 고정하지 않고 유연하게 사용함으로써 학습을 안정화시키고, 추가적인 부등식 제약 조건을 도입한다.
• QTRAN의 엄격한 역할 분리를 제거하고, 진짜 및 변환된 행동가치 추정기 간의 공유 표현 학습을 가능하게 한다.
• 더 유연하고 표현력 있는 동시 행동가치 추정을 가능하게 하는 다중 헤드 믹싱 네트워크를 도입한다.
• 기존 QTRAN의 공식과 다름없는 손실 함수를 수정하여 최적화 안정성과 수렴성을 향상시킨다.
• 이론적으로 분해 가능한 성질을 유지하면서 표현 능력을 향상시키기 위해 반단조성 믹싱 네트워크 구조를 적용한다.
• 어려운 시나리오에서 협동 행동을 장려하고 보상 신호를 더욱 빈번하게 제공하기 위해 새로운 음성 보상 메커니즘을 도입한다.

실험 결과

연구 질문

• RQ1 왜 QTRAN은 가치 분해에서 강력한 이론적 기반을 지녔음에도 불구하고, SMAC와 같은 복잡한 환경에서 경험적으로 성능이 열 劣할까?
• RQ2 손실 함수 수정과 동적 가치 추정을 통해 QTRAN의 학습 불안정성과 낮은 일반화 성능을 완화할 수 있는가?
• RQ3 진짜 및 변환된 가치 추정기 간의 엄격한 역할 분리를 제거하면 성능과 안정성이 향상되는가?
• RQ4 다중 헤드 믹싱 네트워크가 비분해 가능한 협동 작업에서 더 나은 보상 할당과 성능을 가능하게 하는가?
• RQ5 특히 음성 보상 설정에서 QMIX와 같은 기존 최신 기법들보다 QTRAN++가 복잡한 SMAC 환경에서 더 뛰어난 성능을 내는가?

주요 결과

• QTRAN++는 SMAC의 모든 10개 시나리오에서 최신 성능을 달성하며, QMIX 및 QTRAN을 포함한 모든 베이스라인을 일관되게 능가한다.
• 음성 보상 시나리오에서는 QTRAN++가 QMIX가 빠지는 국소 최적점에 빠지지 않고 적대자를 공격하도록 에이전트를 성공적으로 학습시켰다.
• 제거 실험 결과, 다중 헤드 믹싱, 수정된 손실 함수, 고정되지 않은 진짜 추정기, 공유된 역할 등 각 구성 요소가 성능 향상에 기여하는 것으로 확인되었다.
• QTRAN++는 이론적 표현력과 경험적 성능 사이의 격차를 메우며, QTRAN의 이론적 우수성이 실제로 실현될 수 있음을 보여주었다.
• 수정된 환경에서 음성 보상이 보상 신호를 더욱 빈번하게 만들어 학습 속도를 가속화하고 최종 승률을 향상시켰다.
• 3s_vs_5z 및 5m_vs_6m와 같은 어려운 시나리오에서 QTRAN++는 두 번째로 좋은 베이스라인보다 중앙값 승률이 크게 높았으며, 뚜렷한 성능 격차를 보였다.