[論文レビュー] DFAC Framework: Factorizing the Value Function via Quantile Mixture for Multi-Agent Distributional Q-Learning

Wei-Fang Sun, Cheng‐Kuang Lee+1 more|arXiv (Cornell University)|Feb 16, 2021

Reinforcement Learning in Robotics参考文献 27被引用数 9

ひとこと要約

本稿では、定量的混合と平均形状分解を用いてリターン分布をモデル化することで、多エージェント強化学習における価値関数因子分解を分布的強化学習に拡張するDFACというフレームワークを提案する。これは、個々のグローバル最大（IGM）性質を保ちつつ、分布的価値関数因子分解を可能にする。すべてのスーパー・ハードなスターフィート・イニシャチブ・マップにおいて、期待値ベースラインを上回る性能を発揮する。

ABSTRACT

In fully cooperative multi-agent reinforcement learning (MARL) settings, the environments are highly stochastic due to the partial observability of each agent and the continuously changing policies of the other agents. To address the above issues, we integrate distributional RL and value function factorization methods by proposing a Distributional Value Function Factorization (DFAC) framework to generalize expected value function factorization methods to their DFAC variants. DFAC extends the individual utility functions from deterministic variables to random variables, and models the quantile function of the total return as a quantile mixture. To validate DFAC, we demonstrate DFAC's ability to factorize a simple two-step matrix game with stochastic rewards and perform experiments on all Super Hard tasks of StarCraft Multi-Agent Challenge, showing that DFAC is able to outperform expected value function factorization baselines.

研究の動機と目的

• 確率的で部分的に観測可能な多エージェント環境における期待値関数因子分解の限界を解消すること。
• 協調的マルチエージェント強化学習における分布的強化学習と価値関数因子分解のギャップを埋めること。
• 分散実行の安定性と有効性を確保するため、分布的設定において個々のグローバル最大（IGM）性質を維持すること。
• 共同リターン分布を個々の利得分布に因子分解する計算効率の良い手法を開発すること。

提案手法

• 平均形状分解を導入することで、期待値関数因子分解を分布的設定に一般化し、IGM条件を保ちながら実現する。
• 定量的混合を用いて、総合的リターン分布を個々のエージェント利得分布の組み合わせとして表現する。
• 定量的回帰とインプリシット定量ネットワークを用いて、個々の利得の定量関数を効率的に近似する。
• 実験における訓練曲線の安定化のため、移動平均平滑化フィルタを適用する。
• 独立Q学習（IQL）および価値因子分解手法（VDN、QMIX）を、それぞれの分布的バージョン（DIQL、DDN、DMIX）に拡張し、アブレーションと比較に用いる。
• 2段階のマトリックスゲームと、スターフィート・マルチエージェントチャレンジ（SMAC）のすべてのスーパー・ハードマップでフレームワークを検証する。

実験結果

リサーチクエスチョン

• RQ1 確率的報酬と部分的観測性を伴う協調的マルチエージェント環境において、分布的価値関数因子分解を効果的に適用できるか？
• RQ2 価値関数因子分解を分布的リターンに一般化する際、個々のグローバル最大（IGM）性質をどのように維持できるか？
• RQ3 定量的混合によるリターン分布のモデリングが、マルチエージェント強化学習における学習の安定性と性能に与える影響は何か？
• RQ4 DFACに基づく変種は、挑戦的なSMACマップにおいて、期待値に基づく対応する手法と比較して、勝率と累積得点の面でどのように差をつけるか？

主な発見

• DFACに基づく手法、特にDDNとDMIXは、スターフィート・マルチエージェントチャレンジのすべてのスーパー・ハードマップで、期待値ベースライン（VDNとQMIX）を上回る性能を発揮する。
• 最も困難なマップ、6h_vs_8zでは、DDNとDMIXのみが有効な方策を学習に成功し、ベースラインは失敗する。
• 分布的バージョン（DDN、DMIX）は、すべてのスーパー・ハードマップで、対応するベースラインと比較して、最終的な勝率が高く、平均得点も優れている。
• DIQL（IQLの分布的バージョン）は、標準的なIQLをすでに上回っており、因子分解がなくても、マルチエージェント強化学習における分布的学習の利点を裏付けている。
• 定量的混合アプローチにより、共同リターン分布を個々の利得分布に効率的かつ安定的に因子分解できる。
• DDNは単純さにもかかわらず優れた性能を示しており、複雑なマルチエージェント強化学習設定において、分布的因子分解がデータ効率と耐障害性を向上させることを示唆している。