[論文レビュー] Policy Gradient With Value Function Approximation For Collective Multiagent Planning

Duc Thien Nguyen, Akshat Kumar+1 more|arXiv (Cornell University)|Apr 9, 2018

Reinforcement Learning in Robotics参考文献 30被引用数 14

ひとこと要約

本稿は、$ℝ$ Dec-POMDPにおける集団的マルチエージェント計画のための、価値関数近似を用いた要因分解型アクタ・クリティック強化学習手法を提案する。エージェントの相互作用は個々のアイデンティティではなく集団的行動に従う。行動価値関数を分解し、局所的価値関数を用いてクリティックを訓練することで、従来のアクタ・クリティック手法や先行の表形式手法と比較して、収束が速く、解の品質も優れている。実世界のタクシー配車問題において最大8,000エージェントのスケーラビリティを示した。

ABSTRACT

Decentralized (PO)MDPs provide an expressive framework for sequential decision making in a multiagent system. Given their computational complexity, recent research has focused on tractable yet practical subclasses of Dec-POMDPs. We address such a subclass called CDEC-POMDP where the collective behavior of a population of agents affects the joint-reward and environment dynamics. Our main contribution is an actor-critic (AC) reinforcement learning method for optimizing CDEC-POMDP policies. Vanilla AC has slow convergence for larger problems. To address this, we show how a particular decomposition of the approximate action-value function over agents leads to effective updates, and also derive a new way to train the critic based on local reward signals. Comparisons on a synthetic benchmark and a real-world taxi fleet optimization problem show that our new AC approach provides better quality solutions than previous best approaches.

研究の動機と目的

• 表形式方策表現のスケーラビリティ制限を、不確実性下での集団的マルチエージェント計画において解消すること。
• 大規模なDec-POMDPにおけるアクタ・クリティック強化学習のサンプル効率と収束速度を向上させること。
• 集団的エージェント相互作用を活用しながら、分散型方策学習を可能にする価値関数近似を開発すること。
• 都市のタクシー配車など、現実世界の大規模マルチエージェントシステムにおける効果的な方策最適化を可能にすること。
• 高エージェント数を伴う合成的および現実世界のベンチマークで、手法の妥当性を検証すること。

提案手法

• $ℝ$ Dec-POMDPにおける集団的エージェント相互作用に基づいて行動価値関数を要因分解する、要因分解型アクタ・クリティック（fAfC）フレームワークを提案する。
• 分散の低減と学習安定性の向上を図るため、適合する価値関数近似を用いた方策勾配更新を導出する。
• グローバル価値推定の精度を高めるために、個々のエージェントの価値関数を用いてグローバル価値推定をガイドする、新規なクリティック訓練手法を導入する。
• 関数近似（例：ニューラルネットワーク）を方策および価値関数に用いることで、表形式表現を回避し、スケーラビリティを実現する。
• 局所的観測とカウントに基づいて、個々の貢献の和として結合行動価値関数をモデル化する価値関数の要因分解を適用する。
• グローバルリターン推定への依存を減らし、収束性を向上させるために、個々のエージェントからの局所的報酬信号を用いてクリティックを訓練する。

実験結果

リサーチクエスチョン

• RQ1 要因分解型アクタ・クリティック手法に価値関数近似を組み合わせることで、大規模な集団的マルチエージェント計画において、従来のアクタ・クリティック手法を上回る性能を達成できるか？
• RQ2 個々のエージェントの価値関数を用いてクリティックを訓練することで、$ℝ$ Dec-POMDPにおいて収束が速くなり、方策品質が向上するか？
• RQ3 集団的エージェント行動に基づく価値関数の要因分解は、高次元の観測空間においてスケーラビリティとパフォーマンスをどのように向上させるか？
• RQ4 提案手法は、8,000エージェントのタクシー配車など、現実世界の大規模システムにおいて、効果的に方策最適化を可能にするか？
• RQ5 観測空間が拡大する状況において、表形式方策最適化（例：EM）と比較して、解の品質と収束性の観点で、本手法はどのように差をつけるか？

主な発見

• fAfC-oNは、近隣観測（oN）を用いた8,000台タクシー問題において、ベースラインのfAfC-o0と比較して、解の品質を64%向上させた。
• fAfC-oNはfAfC-o1と比較して20%の向上を示し、複数の近隣領域を観測するモデル化が方策品質を向上させることを確認した。
• EM-`oN'でさえ、ピecewise方策であったにもかかわらず、30,000イテレーション以内に収束せず、結果も劣っていたため、fAfC-oNが優れていることを裏付けた。
• 要因分解型クリティック訓練戦略により、グローバル経験的リターンを用いた訓練と比較して、収束が速くなった。これは、サンプル分散低減の有効性を裏付けた。
• ヴァナイルACおよびfACバージョンは、同じ設定下でも収束しなかった。これは、提案された要因分解アーキテクチャおよび訓練手法の必要性を示している。
• 合成的ロボットナビゲーションタスクでは、fAfC-oNがEMおよびSMFUを上回り、特に混雑度の高い状況で顕著な優位性を示した。