[論文レビュー] UneVEn: Universal Value Exploration for Multi-Agent Reinforcement Learning

Tarun Gupta, Anuj Mahajan+3 more|arXiv (Cornell University)|Oct 6, 2020

Reinforcement Learning in Robotics参考文献 61被引用数 7

ひとこと要約

UneVEnは、関連する簡単なタスクのポリシーを活用することで、最適な連携行動へ探索を暗黙的に偏らせる、マルチエージェント汎用後続特徴（MAUSF）を用いた、新しいマルチエージェント強化学習手法を提案する。訓練中にこれらの関連タスクをサンプリング・実行することで、価値ベースのマルチエージェント強化学習における相対的過剰一般化を克服し、VDN や QMIX が失敗する連携が重視されるタスクにおいて、最先端の性能を達成する。

ABSTRACT

VDN and QMIX are two popular value-based algorithms for cooperative MARL that learn a centralized action value function as a monotonic mixing of per-agent utilities. While this enables easy decentralization of the learned policy, the restricted joint action value function can prevent them from solving tasks that require significant coordination between agents at a given timestep. We show that this problem can be overcome by improving the joint exploration of all agents during training. Specifically, we propose a novel MARL approach called Universal Value Exploration (UneVEn) that learns a set of related tasks simultaneously with a linear decomposition of universal successor features. With the policies of already solved related tasks, the joint exploration process of all agents can be improved to help them achieve better coordination. Empirical results on a set of exploration games, challenging cooperative predator-prey tasks requiring significant coordination among agents, and StarCraft II micromanagement benchmarks show that UneVEn can solve tasks where other state-of-the-art MARL methods fail.

研究の動機と目的

• 価値ベースのマルチエージェント強化学習（MARL）における相対的過剰一般化（RO）を解消すること。RO は、単調な価値因子分解によって最適な連携行動が低く評価される原因となる。
• 相対的過剰一般化に苦しまない、関連するより単純なタスクのポリシーを活用することで、協調的MARLにおける連携的探索を改善すること。
• 特に時間的連携が厳しいタスクにおいて、高価値の連携行動へ探索を暗黙的に重みづけすることで、効果的な連携を可能にすること。
• VDN スタイルの分解を用いて、汎用後続特徴（USFs）をマルチエージェント設定に拡張し、分散型ポリシー実行を可能にすること。

提案手法

• VDN スタイルの単調な要因分解を用いてエージェント間で線形分解される後続特徴のマルチエージェント汎用後続特徴（MAUSF）を提案する。
• 関連タスクの分布全体を通じて共通の後続特徴表現を学習し、より簡単なタスクからターゲットタスクへの知識の転送を可能にする。
• 訓練中に、ターゲットタスクを中心とする正規分布からタスク記述をサンプリングし、最も高い価値を持つタスクを実行することで、高価値の連携行動へ探索を効果的に誘導する。
• すでに解決済みの関連タスクのポリシーを用いて、探索を暗黙的に偏らせ、RO によって生じる部分的な行動選択の可能性を低減する。
• 集中型のクリティックを用い、タスク全体を通じて汎用後続特徴の線形結合を維持することで、連携価値関数を推定する。
• 個々のグローバル最大（IGM）の原則を用いて分散型実行を可能にし、スケーラビリティと既存のMARLフレームワークとの互換性を確保する。

実験結果

リサーチクエスチョン

• RQ1 関連タスクを同時に学習することで、協調的MARLにおける連携的探索と相対的過剰一般化の克服が可能か？
• RQ2 より単純な関連タスクのポリシーを用いることで、ターゲットタスクにおける最適な連携行動へ探索が暗黙的に誘導されるか？
• RQ3 VDN 分解を用いたMAUSFは、時間的連携が厳しいマルチエージェント環境での有効な連携を可能にするか？
• RQ4 VDN、QMIX、QTRAN といった最先端の価値ベースMARL手法と比較して、UneVEnは相対的過剰一般化が強いタスクでどのように性能を発揮するか？
• RQ5 UneVEnは、同じ環境における新しい報酬関数に対して、どの程度ゼロショットで一般化できるか？

主な発見

• UneVEnは、VDN や QMIX が相対的過剰一般化のため失敗する、きめ細やかな連携が求められる捕食者・獲物タスクを正常に解決した。
• 単独行動に対する罰則が強い環境（例：p > r）では、UneVEnは効果的な探索とポリシー学習を維持するが、VDN や QMIX は著しく性能を低下させる。
• スターフィックIIのミクロマネジメントベンチマークにおいて、最先端の価値ベースMARLアルゴリズムを大きく上回る顕著な性能向上を達成した。
• UneVEnは、新しい報酬関数へのゼロショット一般化が強く示され、MAUSFによる強力な転移学習の可能性を示した。
• 実験的結果から、UneVEnは関連タスクを活用することで、次第に解けるタスクの集合を拡大し、最終的にターゲットタスクを解ける集合に含めることがわかった。
• ターゲットタスクを中心とする正規分布からタスクをサンプリングすることで、実際のROを低減し、最適な連携行動へ探索を効果的に偏らせることに成功した。