[논문 리뷰] RMIX: Learning Risk-Sensitive Policies for Cooperative Reinforcement Learning Agents

Wei Qiu, Xinrun Wang외 6명|arXiv (Cornell University)|2021. 02. 16.

Reinforcement Learning in Robotics참고 문헌 44인용 수 16

한 줄 요약

RMIX는 확률적이고 높은 불확실성을 지닌 환경에서의 협동을 향상시키기 위해 개별 Q-값 분포에 대한 조건부가치의기대손실(CVaR)을 사용하는 위험감수성 있는 협동 다중에이전트강화학습(MARL) 방법을 제안한다. Dirac 델타 함수를 통해 수익 분포를 학습하고, 동적 위험 수준 예측기를 도입해 위험 조정을 적응적으로 수행하며, TD 학습과 분위수 회귀에서 CVaR를 최적화함으로써 RMIX는 도전적인 StarCraft II 작업에서 최신 기술 성능과 뛰어난 샘플 효율성을 달성한다.

ABSTRACT

Current value-based multi-agent reinforcement learning methods optimize individual Q values to guide individuals' behaviours via centralized training with decentralized execution (CTDE). However, such expected, i.e., risk-neutral, Q value is not sufficient even with CTDE due to the randomness of rewards and the uncertainty in environments, which causes the failure of these methods to train coordinating agents in complex environments. To address these issues, we propose RMIX, a novel cooperative MARL method with the Conditional Value at Risk (CVaR) measure over the learned distributions of individuals' Q values. Specifically, we first learn the return distributions of individuals to analytically calculate CVaR for decentralized execution. Then, to handle the temporal nature of the stochastic outcomes during executions, we propose a dynamic risk level predictor for risk level tuning. Finally, we optimize the CVaR policies with CVaR values used to estimate the target in TD error during centralized training and the CVaR values are used as auxiliary local rewards to update the local distribution via Quantile Regression loss. Empirically, we show that our method significantly outperforms state-of-the-art methods on challenging StarCraft II tasks, demonstrating enhanced coordination and improved sample efficiency.

연구 동기 및 목표

• 다중에이전트강화학습에서 고분산 또는 희귀 사건이 팀의 협동을 방해할 수 있는 위험 중립적 Q-값 최적화의 한계를 해결하기 위해.
• 기대값 대신 전체 수익 분포를 학습하여 불확실성 하에서의 의사결정을 향상시키고, 위험감수성 정책을 가능하게 하기 위해.
• 관찰 및 에이전트 기반으로 위험 선호도를 적응적으로 조정할 수 있는 동적 위험 수준 예측기를 도입하여 에이전트별 위험 조정을 가능하게 하기 위해.
• 중앙집중적 훈련과 분산 실행(CTDE)을 통해 CVaR 정책을 최적화하고, TD 학습의 타겟으로서 및 보조 지역 보상으로서 CVaR를 사용하기 위해.
• 위험감수성 정책이 복잡하고 비정상적인 환경인 StarCraft II와 같은 환경에서 협동성과 샘플 효율성을 크게 향상시킬 수 있음을 입증하기 위해.

제안 방법

• 분산 실행을 가능하게 하기 위해, Dirac 델타 함수를 사용해 개별 Q-값 수익 분포를 학습하고, 이를 통해 분석적 방법으로 CVaR를 계산한다.
• 현재와 이전 수익 분포 임베딩 간의 차이를 기반으로 위험 수준을 계산하는 동적 위험 수준 예측기를 도입하여, 관찰 및 에이전트 기반의 위험 적응을 가능하게 한다.
• 중앙집중적 훈련 중 시간차(TD) 학습 업데이트에서 CVaR 값을 타겟으로 사용하여 전역 가치 추정을 최적화한다.
• 개별 수익 분포 업데이트를 위해 분위수 회귀 손실에 CVaR 값을 보조 지역 보상으로 적용하여 정책 학습을 향상시킨다.
• 각 에이전트의 위험감수성 행동을 보장하기 위해, CVaR 값에 대한 argmax를 통해 액션을 선택함으로써 분산 실행을 가능하게 한다.
• RDN(Risk Decomposition Network)을 제안하여 다른 혼합 네트워크로의 확장 가능성을 제공하며, 전역 가치 추정에 대해 가산형 CVaR를 사용한다.

실험 결과

연구 질문

• RQ1 수익 분포를 학습하고 CVaR를 적용함으로써 고도로 불확실한 협동 다중에이전트 환경에서의 협동성이 향상되는가?
• RQ2 시간적 및 관찰적 맥락에 적응하는 동적 위험 수준 예측기가 정적 위험 수준보다 더 나은 위험감수성 의사결정을 이끌어내는가?
• RQ3 CVaR 기반 정책이 QMIX 및 QR-MIX와 같은 위험 중립 기반 베이스라인보다 복잡하고 확률적인 환경인 StarCraft II에서 슈퍼리어 성능을 내는가?
• RQ4 제안된 프레임워크는 QMIX를 초월한 다른 가치 기반 다중에이전트강화학습 아키텍처로도 확장 가능한가?
• RQ5 RMIX를 사용하는 에이전트들이 환경의 역동성에 대응하여 적응적인 위험 선호도를 반영하는 탄생적이고 협동적인 행동을 보이는가?

주요 결과

• RMIX는 1c3s5z 및 5m_vs_6m와 같은 도전적인 StarCraft II 지ap에서 QMIX 및 QR-MIX를 크게 능가하며, 뛰어난 협동성과 샘플 효율성을 입증한다.
• 동적 위험 수준 예측기는 더 빠른 수렴과 적응형 위험 조정을 가능하게 하며, 건강 상태 및 적군 접근도와 같은 실시간 상황 인식에 따라 에이전트가 위험 선호도를 조정한다.
• 높은 위험 상황(예: 낮은 체력, 수적으로 열세)에서는 위험 수준을 낮춘다(α → 0), 보수적인 정책을 채택하고, 안전하거나 승리 가능 조건에서는 α가 1.0으로 증가하여 위험 중립적 탐색을 허용한다.
• 여러 SMAC 환경에서 최신 기술 성능을 달성하며, 베이스라인 대비 더 빠른 수렴 속도와 향상된 승률을 기록한다.
• RDN(Risk Decomposition Network) 변형은 VDN에 대해 가산형 CVaR를 적용하여 10m_vs_11m에서 VDN을 능가하고, 1c3s5z 및 8m_vs_9m에서 더 빠른 수렴을 보여 프레임워크의 일반화 능력을 확인한다.
• 훈련된 정책의 시각적 분석 결과, 한 에이전트가 적의 공격을 끌어내고 다른 에이전트들이 재배치하는 등 탄생적 협동 행동이 관찰되어 적응적 위험 인식 협동이 가능함을 입증한다.