[논문 리뷰] RiskQ: Risk-sensitive Multi-Agent Reinforcement Learning Value Factorization

Siqi Shen, Chennan Ma외 6명|arXiv (Cornell University)|2023. 11. 03.

Reinforcement Learning in Robotics인용 수 4

한 줄 요약

RiskQ는 VaR 및 왜곡된 위험 측도와 같은 위험 지표에 대해 위험 감수성 개별-전체-최대(RIGM) 원칙을 만족하는 위험 감수성 다중 에이전트 강화 학습 알고리즘을 제안한다. 이는 주어진 에이전트의 수익 유용성에 대한 가중 카운터레일리 혼합을 주의 메커니즘을 통해 조합한 공동 수익 분포를 모델링함으로써, 위험 감수성 정책의 협력적이고 분산된 구현을 가능하게 하며, 위험 감수성 및 위험 중립성 환경에서 기존 방법을 능가한다.

ABSTRACT

Multi-agent systems are characterized by environmental uncertainty, varying policies of agents, and partial observability, which result in significant risks. In the context of Multi-Agent Reinforcement Learning (MARL), learning coordinated and decentralized policies that are sensitive to risk is challenging. To formulate the coordination requirements in risk-sensitive MARL, we introduce the Risk-sensitive Individual-Global-Max (RIGM) principle as a generalization of the Individual-Global-Max (IGM) and Distributional IGM (DIGM) principles. This principle requires that the collection of risk-sensitive action selections of each agent should be equivalent to the risk-sensitive action selection of the central policy. Current MARL value factorization methods do not satisfy the RIGM principle for common risk metrics such as the Value at Risk (VaR) metric or distorted risk measurements. Therefore, we propose RiskQ to address this limitation, which models the joint return distribution by modeling quantiles of it as weighted quantile mixtures of per-agent return distribution utilities. RiskQ satisfies the RIGM principle for the VaR and distorted risk metrics. We show that RiskQ can obtain promising performance through extensive experiments. The source code of RiskQ is available in https://github.com/xmu-rl-3dv/RiskQ.

연구 동기 및 목표

• 위험에 민감한 가치 분해가 부족하여 위험에 대한 조율이 어려운 다중 에이전트 강화 학습 문제를 해결한다.
• 위험 감수성 다중 에이전트 강화 학습에서의 조율 요구 조건을 위험 감수성 개별-전체-최대(RIGM) 원칙을 통해 체계화한다.
• VaR 및 왜곡된 위험 측도와 같은 일반적인 위험 지표에 대해 RIGM를 만족하는 가치 분해 방법을 설계한다.
• 중앙집중식 위험 감수성 의사결정과 일치하는 분산형 위험 인지 정책을 가능하게 한다.
• RiskQ의 성능을 위험 감수성 게임 및 스타크래프트 II 작업에서 경험적으로 검증한다.

제안 방법

• IGM 및 DIGM의 일반화로써 RIGM 원칙을 도입하여, 공동 위험 감수성 행동이 개별 위험 감수성 탐욕적 행동과 일치하도록 요구한다.
• 주어진 에이전트의 양자 기반 수익 분포 유용성을 주의 메커니즘을 통해 가중 합산하여 공동 수익 분포를 모델링한다.
• 각 에이전트의 위험 감수성 유용성을 VaR 또는 왜곡된 위험과 같은 위험 측도 $\psi_{\alpha}[Z_i]$로 표현하며, $\alpha$는 위험 파라미터로 사용된다.
• 양자수 회귀를 위한 미분 가능성을 확보하기 위해 은닉 양자수 네트워크(IQN)를 기반으로 하며, 정책 최적화를 위한 유연한 분포 학습을 가능하게 한다.
• 각 에이전트의 수익 분포의 양자수를 기반으로 공동 분포 $Z_{jt}$의 양자수를 개별 에이전트의 양자수 $\theta_i(\omega)$의 가중 조합으로 계산하는 양자수 혼합 메커니즘을 적용한다.
• 위험 감수성과 공동 수익 분포 기여도를 고려해 동적으로 각 에이전트의 양자수에 대한 가중치를 할당하는 위험 인지 주의 메커니즘을 적용한다.

실험 결과

연구 질문

• RQ1 VaR 및 왜곡된 위험 측도와 같은 일반적인 위험 지표에 대해 RIGM 원칙을 만족하는 가치 분해 방법을 설계할 수 있는가?
• RQ2 에이전트 간의 위험 감수성 조율을 유지하면서 공동 수익 분포를 어떻게 모델링할 수 있는가?
• RQ3 제안된 RiskQ 방법이 위험 감수성 환경에서 기존 MARL 알고리즘보다 더 뛰어난 성능을 내는가?
• RQ4 RiskQ는 위험 중립성 및 위험 감수성 시나리오 양쪽에서 뛰어난 성능을 유지할 수 있는가?
• RQ5 위험 인지 주의와 양자수 혼합 모델링의 통합이 정책 조율 및 강건성에 어떤 영향을 미치는가?

주요 결과

• RiskQ는 VaR 및 왜곡된 위험 측도에 대해 RIGM 원칙을 만족하여, 분산형 에이전트 행동과 중앙집중식 위험 감수성 의사결정 간의 일관성을 보장한다.
• 스타크래프트 II 미크로맨지먼트 작업(SMAC)에서 RiskQ는 최신 기술 기반 MARL 기준선과 비교해 우수하거나 경쟁 가능한 성능을 기록하며, 특히 위험 회피 설정에서 뛰어난 성능을 보였다.
• 위험 감수성 그리드월드 게임에서 RiskQ는 고스토캐스틱성 및 희귀 사건 조건 하에서도 개선된 강건성과 안정성을 입증했다.
• 제거 실험을 통해 주의 기반 양자수 혼합 메커니즘이 조율 및 위험 감수성 유지에 핵심적임을 확인했다.
• RiskQ에 탐색 전략인 위험 파라미터 안내(예: RiskQ+LQN)를 통합해도 성능 향상이 미미한 것으로 나타나, 조율된 탐색을 위한 추가 설계가 필요할 수 있음을 시사한다.
• IQN을 더 안정적인 위험 인지 벨만 연산자(Lim 및 Malik, 2022)로 교체하면 성능 저하가 발생함을 확인하여, 기존의 분포 기반 RL 근사가 위험 감수성에 충분함을 시사한다.