[論文レビュー] RMIX: Learning Risk-Sensitive Policies for Cooperative Reinforcement Learning Agents

Wei Qiu, Xinrun Wang+6 more|arXiv (Cornell University)|Feb 16, 2021

Reinforcement Learning in Robotics参考文献 44被引用数 16

ひとこと要約

RMIXは、個々のQ値分布におけるリスク感受性の高い協調的マルチエージェント強化学習（MARL）手法を提案する。この手法は、確率的で高リスクな環境における連携を向上させるために、条件付きリスク価値（CVaR）を用いる。Diracデルタ関数を用いて報酬分布を学習し、動的リスクレベル予測器を導入してリスクチューニングを適応的に行い、TD学習および分位数回帰におけるCVaR最適化を実施することで、挑戦的なStarCraft IIタスクにおいて最先端の性能と優れたサンプル効率を達成した。

ABSTRACT

Current value-based multi-agent reinforcement learning methods optimize individual Q values to guide individuals' behaviours via centralized training with decentralized execution (CTDE). However, such expected, i.e., risk-neutral, Q value is not sufficient even with CTDE due to the randomness of rewards and the uncertainty in environments, which causes the failure of these methods to train coordinating agents in complex environments. To address these issues, we propose RMIX, a novel cooperative MARL method with the Conditional Value at Risk (CVaR) measure over the learned distributions of individuals' Q values. Specifically, we first learn the return distributions of individuals to analytically calculate CVaR for decentralized execution. Then, to handle the temporal nature of the stochastic outcomes during executions, we propose a dynamic risk level predictor for risk level tuning. Finally, we optimize the CVaR policies with CVaR values used to estimate the target in TD error during centralized training and the CVaR values are used as auxiliary local rewards to update the local distribution via Quantile Regression loss. Empirically, we show that our method significantly outperforms state-of-the-art methods on challenging StarCraft II tasks, demonstrating enhanced coordination and improved sample efficiency.

研究の動機と目的

• マルチエージェント強化学習におけるリスクニュートラルなQ値最適化の限界を解消すること。特に、高分散またはまれな出来事がチームの連携を乱す可能性がある状況を想定する。
• 期待値ではなく報酬の全分布を学習することで、不確実性下での意思決定を改善し、リスク感受性の高い方策を可能にする。
• 時間的および観測的文脈に基づいてリスク好みを適応的に変更できる動的リスクレベル予測器を導入し、エージェントごとのリスクチューニングを実現する。
• 中央集権的訓練・分散実行（CTDE）フレームワークを用い、CVaRをTD学習のターゲットおよび補助的ローカル報酬として用いることで、CVaR方策を最適化する。
• リスク感受性の高い方策が、StarCraft IIのような複雑で非定常な環境において、連携性とサンプル効率を顕著に向上させることを示す。

提案手法

• 分散実行を可能にするために、Diracデルタ関数を用いて個々のQ値報酬分布を学習し、分散実行におけるCVaRの解析的計算を可能にする。
• 現在の報酬分布埋め込みと履歴の報酬分布埋め込みの乖離に基づいてリスクレベルを計算する動的リスクレベル予測器を導入し、観測およびエージェントに特化したリスク適応を実現する。
• 中央集権的訓練中に時系列差分（TD）学習の更新においてCVaR値をターゲットとして用い、グローバル価値推定を最適化する。
• 個々の報酬分布の更新に分位数回帰損失においてCVaR値を補助的ローカル報酬として適用し、方策学習を改善する。
• 各エージェントがCVaR値のargmaxに基づいて行動を選択することで、分散実行を実現し、リスク感受性の高い行動を保証する。
• RDN（リスク分解ネットワーク）を提案することで、他のミキシングネットワークへの拡張を可能にし、グローバル価値推定に加法的CVaRを用いる。

実験結果

リサーチクエスチョン

• RQ1 報酬分布を学習し、CVaRを適用することで、高リスクな不確実性を伴う協調的マルチエージェント環境における連携が向上するか？
• RQ2 時間的および観測的文脈に基づいて適応する動的リスクレベル予測器は、固定されたリスクレベルに比べて、より優れたリスク感受性意思決定を可能にするか？
• RQ3 CVaRベースの方策は、Q-Mix や QR-Mix といったリスクニュートラルなベースラインを、StarCraft II のような複雑で確率的な環境で上回るか？
• RQ4 提案されたフレームワークは、QMIXを越える他の価値ベースのMARLアーキテクチャへも拡張可能か？
• RQ5 RMIXを用いるエージェントは、環境のダイナミクスに応じて適応的リスク好みを示す、発現的で協調的な行動を示すか？

主な発見

• RMIXは、1c3s5z や 5m_vs_6m といった挑戦的なStarCraft IIマップにおいて、QMIX や QR-Mix を顕著に上回り、優れた連携性とサンプル効率を示した。
• 動的リスクレベル予測器により、収束が速く、リスクチューニングが適応的に行われ、エージェントが健康状態や敵の接近度といったリアルタイムの状況認識に基づいてリスク好みを調整することが可能になった。
• 高リスク状況（例：低HP、敵に数で劣る）では、リスクレベルを低下（α → 0）させ、保守的な方策を採用する。安全または勝利確実な状況では、αを1.0に増加させ、リスクニュートラルな探索を可能にする。
• 複数のSMAC環境において、最先端の性能を達成し、ベースラインと比較して収束が速く、勝率も向上した。
• VDNに適用したRDN（リスク分解ネットワーク）バージョンは、10m_vs_11m でVDNを上回り、1c3s5z や 8m_vs_9m においても収束が速くなった。これにより、フレームワークの汎用性が裏付けられた。
• 訓練済み方策の可視化分析から、1体のエージェントが敵の攻撃を引きつける一方で、他のエージェントが再配置するなど、適応的かつリスク意識的な協調行動が発現していることが確認された。