[論文レビュー] RiskQ: Risk-sensitive Multi-Agent Reinforcement Learning Value Factorization

Siqi Shen, Chennan Ma+6 more|arXiv (Cornell University)|Nov 3, 2023

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

RiskQは、リスク指標（例：VaR や歪んだリスク指標）に適合するリスクセンシティブなマルチエージェント強化学習アルゴリズムを提案する。この手法は、アテンション機構を用いて各エージェントのリターン効用の重み付き分位数混合により連携リターン分布をモデル化し、分散型で協調的なリスクセンシティブな方策を可能にし、リスクセンシティブおよびリスクニュートラルな環境の両方で標準的手法を上回る性能を発揮する。

ABSTRACT

Multi-agent systems are characterized by environmental uncertainty, varying policies of agents, and partial observability, which result in significant risks. In the context of Multi-Agent Reinforcement Learning (MARL), learning coordinated and decentralized policies that are sensitive to risk is challenging. To formulate the coordination requirements in risk-sensitive MARL, we introduce the Risk-sensitive Individual-Global-Max (RIGM) principle as a generalization of the Individual-Global-Max (IGM) and Distributional IGM (DIGM) principles. This principle requires that the collection of risk-sensitive action selections of each agent should be equivalent to the risk-sensitive action selection of the central policy. Current MARL value factorization methods do not satisfy the RIGM principle for common risk metrics such as the Value at Risk (VaR) metric or distorted risk measurements. Therefore, we propose RiskQ to address this limitation, which models the joint return distribution by modeling quantiles of it as weighted quantile mixtures of per-agent return distribution utilities. RiskQ satisfies the RIGM principle for the VaR and distorted risk metrics. We show that RiskQ can obtain promising performance through extensive experiments. The source code of RiskQ is available in https://github.com/xmu-rl-3dv/RiskQ.

研究の動機と目的

• リスク下での協調性を維持するリスクセンシティブな価値因子分解がマルチエージェント強化学習に不足している問題に対処すること。
• リスクセンシティブなマルチエージェント強化学習における協調要件を、リスクセンシティブな個別・グローバル・マックス（RIGM）原則を通じて形式化すること。
• VaR や歪んだリスク指標を含む一般のリスク指標に対してRIGMを満たす価値因子分解手法を設計すること。
• 集中型のリスクセンシティブ意思決定と整合する分散型のリスク認識方策を実現すること。
• RiskQの性能を、リスクセンシティブなゲームおよびStarCraft IIタスクにおいて実証的に検証すること。

提案手法

• IGM や DIGM の一般化として、連携リスクセンシティブな行動が個別リスクセンシティブなグリーディ行動と一致する必要があるというRIGM原則を導入する。
• アテンション機構を用いて、各エージェントの分位数ベースのリターン効用分布の重み付き和として、連携リターン分布をモデル化する。
• 各エージェントのリスクセンシティブな効用を、VaR や歪んだリスクなどのリスク指標 $\psi_{\alpha}[Z_i]$ で表現し、$\alpha$ をリスクパラメータとする。
• implicit quantile networks (IQN) を基盤とし、リターン分布効用の学習を可能にするとともに、方策最適化のための微分可能な分位数回帰を実現する。
• 各エージェントの分位数 $\theta_i(\omega)$ の重み付き組み合わせとして、連携分布 $Z_{jt}$ の分位数を計算する定量的混合メカニズムを採用する。
• リスクセンシティブ性と連携リターン分布への寄与度に基づき、動的に各エージェントの分位数に重みを割り当てるリスク認識アテンション機構を適用する。

実験結果

リサーチクエスチョン

• RQ1 VaR や歪んだリスク指標などの一般のリスク指標に対してRIGM原則を満たす価値因子分解手法を設計できるか？
• RQ2 エージェント間のリスクセンシティブな協調性を保ちつつ、連携リターン分布をどのようにモデル化できるか？
• RQ3 提案手法RiskQは、既存のマルチエージェント強化学習アルゴリズムに比べ、リスクセンシティブな環境で優れた性能を発揮するか？
• RQ4 RiskQは、リスクニュートラルな状況とリスクセンシティブな状況の両方で高い性能を維持できるか？
• RQ5 リスク認識アテンションと定量的混合モデリングの統合が、方策の協調性およびロバストネスにどのように影響を与えるか？

主な発見

• RiskQは、VaR や歪んだリスク指標に対してRIGM原則を満たしており、分散型エージェント行動と集中型リスクセンシティブ意思決定との一貫性を保証する。
• StarCraft IIのミクロマネジメントタスク（SMAC）において、RiskQは最先端のマルチエージェント強化学習ベースラインと同等または優れた性能を発揮し、特にリスク回避設定下で顕著な優位性を示す。
• リスクセンシティブなグリッドワールドゲームにおいて、RiskQは高確率の不確実性およびレアイベント条件下でも、より優れたロバストネスと安定性を示す。
• アブレーションスタディの結果、アテンションベースの定量的混合メカニズムが協調性およびリスクセンシティブ性の維持に不可欠であることが確認された。
• リスクパラメータの段階的変更（RiskQ+LQN）といった探索戦略と組み合わせても、性能向上はわずかにしか得られず、協調的探索のためにはさらなる設計が必要であることが示唆された。
• IQNをより安定したリスク認識ベルマン作用素（Lim and Malik, 2022）に置き換えても性能が低下するため、既存の分布的強化学習近似手法がリスクセンシティブ性を十分に再現可能であることが示された。