[論文レビュー] Information Gathering in Decentralized POMDPs by Policy Graph Improvement

Mikko Lauri, Joni Pajarinen+1 more|arXiv (Cornell University)|Feb 26, 2019

Optimization and Search Problems被引用数 4

ひとこと要約

本論文は、情報収集を目的とした凸報酬関数を有する分散型部分的に可観測マルコフ決定過程（Dec-POMDPs）に対する、最初のヒューリスティックアルゴリズムを提案する。報酬関数が凸である場合、連携信念における価値関数が凸であることを証明することで、方策グラフの改善を高速化するための下界を導出する。これにより、従来手法よりも1桁大きい問題に対して高品質な方策を維持しながら解法が可能となる。

ABSTRACT

Decentralized policies for information gathering are required when multiple autonomous agents are deployed to collect data about a phenomenon of interest without the ability to communicate. Decentralized partially observable Markov decision processes (Dec-POMDPs) are a general, principled model well-suited for such decentralized multiagent decision-making problems. In this paper, we investigate Dec-POMDPs for decentralized information gathering problems. An optimal solution of a Dec-POMDP maximizes the expected sum of rewards over time. To encourage information gathering, we set the reward as a function of the agents' state information, for example the negative Shannon entropy. We prove that if the reward is convex, then the finite-horizon value function of the corresponding Dec-POMDP is also convex. We propose the first heuristic algorithm for information gathering Dec-POMDPs, and empirically prove its effectiveness by solving problems an order of magnitude larger than previous state-of-the-art.

研究の動機と目的

• 実行中に通信ができないマルチエージェントシステムにおける分散型情報収集を扱う。
• 報酬関数が凸である分散型POMDPs（Dec-POMDPs）のスケーラブルなヒューリスティックアルゴリズムを開発する。報酬関数は信念の不確実性を情報利得としてモデル化する。
• 報酬関数が連携信念に関して凸である場合、価値関数が連携信念に関して凸のまま保たれることを証明する。これは、単一エージェントの結果を分散環境に一般化するものである。
• 導出された価値関数の下界を用いて、固定サイズの方策グラフの反復的改善により、効率的な方策探索を可能にする。
• 大規模なDec-POMDPsにおける実験的妥当性を検証し、最先端のベースラインと比較して優れたスケーラビリティと性能を示す。

提案手法

• 情報収集を、連携信念の負のシャノンエントロピーに基づく報酬関数を有するDec-POMDPとして定式化する。これは凸関数である。
• 報酬関数が連携信念に関して凸である場合、任意の方策の有限時 horizon における価値関数も、連携信念に関して凸であることを証明する。
• 凸性から導出された新たな価値関数の下界を導入し、不適切な方策グラフの改善を pruning するために用いる。
• 反復的方策グラフ改善（NPGI）を採用し、時間ステップごとに固定サイズの方策グラフを局所的方策更新により最適化する。
• アルゴリズムの後退パスでは、解の品質を損なわずに収束を加速するために、下界を用いる。
• 固定サイズの方策グラフを時間ステップごとに適用し、表現力と計算可能性のバランスをとる。

実験結果

リサーチクエスチョン

• RQ1 報酬関数が連携信念に関して凸である場合、Dec-POMDPの価値関数は連携信念に関して凸のまま保たれるか？
• RQ2 凸性から導出された下界を用いることで、解の品質を損なわずにヒューリスティックな方策探索を加速できるか？
• RQ3 提案されたヒューリスティックアルゴリズムは、従来の手法よりも大規模なDec-POMDPsにスケーリング可能か、特に情報収集設定において？
• RQ4 実用的なマルチエージェント情報収集ドメインにおいて、方策グラフサイズや時 horizon 長さの変化に伴い、本手法の性能はどのように変化するか？
• RQ5 下界の使用は、方策改善プロセスの実行時間を短縮するのに有効であり、かつ高品質な方策値を維持できるか？

主な発見

• 報酬関数が信念に関して凸である場合、有限時 horizon におけるDec-POMDPの価値関数は、連携信念に関して凸である。これは、単一エージェントPOMDPの既知の結果を分散環境に一般化するものである。
• 提案されたヒューリスティックアルゴリズム（下界を用いたNPGI）は、情報収集を目的としたDec-POMDPsにおいて、従来の最先端手法よりも1桁大きい問題を解ける。
• MAVドメインでは、異なる方策グラフサイズや時 horizon に対して一貫した高い方策値を達成しており、下界を用いた場合でも劣化が最小限に抑えられている。
• ローバードメインでは、DICEPS、JESP、GMAA*-ICEといったベースラインを上回る性能を示しており、下界を用いた場合でも顕著な性能低下がない。
• 長時間 horizon（T ≥ 4）では、後退パスの実行時間を最大50％まで短縮でき、特にT=5の際に顕著な恩恵（例：下界なしで158.7秒、下界ありで55.34秒）が得られている。
• 時間ステップごとに2ノードのみのコンパクトな方策グラフですら、ほぼ最適に近い性能を達成しており、高い効率性とスケーラビリティを示している。