[논문 리뷰] Revisiting the Gumbel-Softmax in MADDPG

Callum Rhys Tilbury, Filippos Christianos외 1명|arXiv (Cornell University)|2023. 02. 23.

Reinforcement Learning in Robotics인용 수 5

한 줄 요약

이 논문은 이산 그리드월드 환경에서의 다중에이전트 강화학습을 위한 MADDPG에서 편향이 있는 Gumbel-Softmax(GS) 기울기 추정기 대신 다른 이산 기울기 추정기를 도입한다. Gapped Straight Through(GST) 추정기는 원래 GS보다 훨씬 뛰어나며, 계산 비용이 2.5배 증가함에도 불구하고 최대 55% 높은 수익을 기록하고 더 빠른 수렴을 이룬다.

ABSTRACT

MADDPG is an algorithm in multi-agent reinforcement learning (MARL) that extends the popular single-agent method, DDPG, to multi-agent scenarios. Importantly, DDPG is an algorithm designed for continuous action spaces, where the gradient of the state-action value function exists. For this algorithm to work in discrete action spaces, discrete gradient estimation must be performed. For MADDPG, the Gumbel-Softmax (GS) estimator is used -- a reparameterisation which relaxes a discrete distribution into a similar continuous one. This method, however, is statistically biased, and a recent MARL benchmarking paper suggests that this bias makes MADDPG perform poorly in grid-world situations, where the action space is discrete. Fortunately, many alternatives to the GS exist, boasting a wide range of properties. This paper explores several of these alternatives and integrates them into MADDPG for discrete grid-world scenarios. The corresponding impact on various performance metrics is then measured and analysed. It is found that one of the proposed estimators performs significantly better than the original GS in several tasks, achieving up to 55% higher returns, along with faster convergence.

연구 동기 및 목표

• 원래 Gumbel-Softmax(GS) 추정기가 성능이 열등한 이산 그리드월드 환경에서 MADDPG 성능을 향상시키기 위해 다른 이산 기울기 추정기를 사용할 수 있는지 조사한다.
• GS 추정기의 통계적 편향이 다중에이전트 환경에서 MADDPG의 학습 안정성과 최종 성능에 미치는 영향을 평가한다.
• 다양한 기울기 추정 기법—초기화 수치 조정에서부터 새로운 방법에 이르기까지—을 MADDPG 프레임워크 내에서 비교한다.
• GS 추정기를 편향이 낮은 대체 기법으로 교체하면 샘플 효율성 향상과 수익 극대화에 눈에 띄는 개선이 이루어지는지 확인한다.
• Papoudakis 등(2021)이 제기한 바와 같이 GS의 편향이 MADDPG의 이산 행동 공간 과제에서 열악한 성능을 유발하는 핵심 요인임을 뒷받침하는 경험적 증거를 제공한다.

제안 방법

• MADDPG에 네 가지 이산 기울기 추정기를 통합한다: (1) 온도 감소를 적용한 GS, (2) 저온 GS, (3) GRMC$K$(Paulus 등, 2021), (4) Gapped Straight Through(GST)(Fan 등, 2022).
• 기울기 추정기를 MADDPG 알고리즘의 정책 기울기 업데이트에 통합하여, 이산 행동 선택을 위한 표준 Gumbel-Softmax 재구성 기법을 대체한다.
• 독립적인 크리틱과 중심화된 훈련, 분산 실행(CTDE)을 특징으로 하는 표준 MADDPG 아키텍처를 사용하며, 기울기 완화를 통해 이산 행동를 처리하도록 조정한다.
• Papoudakis 등(2021)의 벤치마크에서 제공하는 아홉 가지 그리드월드 과제를 사용한다. 이는 협동적 및 부분 관측 가능 설정을 포함한다.
• 표준 MARL 메트릭을 활용하여 추정기 성능을 비교한다: 누적 수익, 훈련 수렴 속도, 기울기 분산 분석.
• 특히 온도 스케줄링에 대한 초모델 하이퍼파ram터 분석을 통해 각 추정기의 민감도와 강건성을 평가하기 위해 아블레이션 스터디를 수행한다.

실험 결과

연구 질문

• RQ1 MADDPG에서 Gumbel-Softmax 추정기를 다른 이산 기울기 추정기로 교체하면 이산 그리드월드 환경에서 성능 향상이 이루어지는가?
• RQ2 Gapped Straight Through(GST) 추정기는 표준 Gumbel-Softmax 및 그 변종 대비 수익, 수렴 속도, 기울기 분산 측면에서 어떻게 비교되는가?
• RQ3 MADDPG가 이산 환경에서 성능 저하를 보이는 것은 주로 Gumbel-Softmax 추정기의 통계적 편향 때문인가?
• RQ4 온도를 낮추는 것과 같은 Gumbel-Softmax의 단순한 수정이 더 복잡한 추정기와 유사한 성능 향상을 이끌 수 있는가?
• RQ5 MADDPG에서 원래 GS 대비 고급 추정기인 GST를 사용할 경우의 계산 비용-편익 트레이드오프는 어떠한가?

주요 결과

• Gapped Straight Through(GST) 추정기는 몇몇 도전적인 그리드월드 과제에서 원래 Gumbel-Softmax 대비 최대 55% 높은 수익을 기록했다.
• GST는 여러 과제에서 더 빠른 수렴을 가능하게 하여 기존 GS 추정기 대비 더 뛰어난 샘플 효율성을 보였다.
• Gumbel-Softmax의 완화 온도를 낮추는 것이 표준 설정 대비 성능 향상을 이뤘지만, GST만큼 효과적이지는 않았다.
• TAGS에서의 온도 감소 전략은 이 설정에서 성능이 열악하여 하이퍼파ram터 설정에 민감함을 시사했다.
• GRMC$K$ 추정기는 낮은 편향을 가진 것으로 보였지만, 높은 계산 오버헤드로 인해 실용성에 제한을 받았다.
• 기울기 분산 분석 결과, GST는 한 과제에서 GS보다 더 안정적인 기울기를 생성하여 학습 역학 향상에 기여함을 뒷받침했다.