[論文レビュー] Multiagent Rollout and Policy Iteration for POMDP with Application to Multi-Robot Repair Problems

Sushmita Bhattacharya, Siva Kailas+3 more|arXiv (Cornell University)|Nov 9, 2020

Reinforcement Learning in Robotics被引用数 6

ひとこと要約

本稿では、大規模な部分的に観測可能なマルコフ決定過程（POMDP）におけるマルチエージェントのロールアウトおよび近似方策反復アルゴリズムを提案する。マルチエージェント構造を活用することで計算量を削減しつつ、方策改善を維持する。32ノードのロボット修理問題において、最大10エージェントの状況で、標準的なロールアウトやPOMCPやMADDPGといった最先端手法では到達できないスケーリングを達成し、近似的に最適な性能を発揮する。これは、1エージェントずつ処理する効率的で、順序最適化されたロールアウトと、終端コストの近似を用いることで実現された。

ABSTRACT

In this paper we consider infinite horizon discounted dynamic programming problems with finite state and control spaces, partial state observations, and a multiagent structure. We discuss and compare algorithms that simultaneously or sequentially optimize the agents' controls by using multistep lookahead, truncated rollout with a known base policy, and a terminal cost function approximation. Our methods specifically address the computational challenges of partially observable multiagent problems. In particular: 1) We consider rollout algorithms that dramatically reduce required computation while preserving the key cost improvement property of the standard rollout method. The per-step computational requirements for our methods are on the order of $O(Cm)$ as compared with $O(C^m)$ for standard rollout, where $C$ is the maximum cardinality of the constraint set for the control component of each agent, and $m$ is the number of agents. 2) We show that our methods can be applied to challenging problems with a graph structure, including a class of robot repair problems whereby multiple robots collaboratively inspect and repair a system under partial information. 3) We provide a simulation study that compares our methods with existing methods, and demonstrate that our methods can handle larger and more complex partially observable multiagent problems (state space size $10^{37}$ and control space size $10^{7}$, respectively). Finally, we incorporate our multiagent rollout algorithms as building blocks in an approximate policy iteration scheme, where successive rollout policies are approximated by using neural network classifiers. While this scheme requires a strictly off-line implementation, it works well in our computational experiments and produces additional significant performance improvement over the single online rollout iteration method.

研究の動機と目的

• 複数エージェントによる部分的観測下での大規模POMDPを解く際の計算の非効率性に対処する。
• 1ステップあたりの計算量をO(C^m)からO(Cm)に削減しつつ、方策改善を維持する効率的なマルチエージェントのロールアウトアルゴリズムを開発する。
• グラフ構造の環境におけるマルチロボット修理のような、複雑で大規模な状態空間問題への応用を可能にする。
• ニューラルネットワークを用いて価値関数を表現することで、ロールアウトに基づく方策を近似方策反復フレームワークに統合し、さらなる性能向上を図る。
• POMCP や MADDPG といった最先端手法と比較し、挑戦的なマルチロボット協調タスクにおける性能を評価する。

提案手法

• 1ステップあたりの計算量をO(C^m)からO(Cm)に削減するため、打ち切り付きのマルチステップ先読みと、終端コスト関数の近似を用いる。
• 1エージェントずつ処理するロールアウトを実装し、計算負荷を軽減する。
• エージェントの更新順序を最適化することで、逐次的アプローチを上回る性能を実現する順序最適化ロールアウトを適用する。
• ニューラルネットワーク分類器を用いて価値関数を表現することで、ロールアウト方策を近似方策反復フレームワークに統合する。
• エージェント間で信念状態と制御を完全に通信可能であると仮定するが、シミュレーションでは非完全通信への拡張も検討する。
• POMCP や MADDPG との比較のため、モンテカルロ木探索とマルコフ連鎖による信念更新を用いる。

実験結果

リサーチクエスチョン

• RQ1 打ち切り付きの先読みと終端コストの近似を用いたマルチエージェントのロールアウトは、標準的なロールアウトが持つ方策改善性を維持しつつ、計算量を著しく削減できるか？
• RQ2 マルチロボットPOMDPにおいて、1エージェントずつ処理するロールアウトは、標準的なロールアウトと比べて性能とスケーラビリティでどのように異なるか？
• RQ3 ロールアウトに基づく方策とニューラルネットワークを用いた近似方策反復は、大規模POMDPにおいてさらなる性能向上を達成できるか？
• RQ4 本手法は、最大10エージェントと10^37状態空間を持つ問題にどのようにスケーリングするか？
• RQ5 POMCP や MADDPG と比較して、本手法のコストと計算可能性の観点から、どのような差異が生じるか？

主な発見

• 1エージェントずつ処理するロールアウトは、計算量を著しく削減しながらも、標準的なロールアウトと同等の性能を達成した。特に、4エージェントを超える問題では顕著であった。
• 順序最適化ロールアウトは、1エージェントずつ処理するロールアウトを上回る性能を示し、戦略的なエージェントの順序付けの利点を実証した。
• 標準的なロールアウトは、8または10エージェントの問題では計算爆発により失敗したが、本手法は効果的にスケーリングした。
• POMCP や MADDPG は、4エージェントの修理問題において、ベース方策（コスト3277）を下回る性能を示し、MADDPGはコスト5520を記録した。
• ニューラルネットワークを用いた近似方策反復により、複数反復にわたりコスト改善性を維持する形で性能がさらに向上した。
• 本手法は、最大10台のロボットを伴う32ノードの修理ネットワークを効果的に処理し、10^37状態空間と10^7行動空間を持つ問題で、最先端の結果を達成した。