[論文レビュー] Adaptive Belief Discretization for POMDP Planning

Divya Grover, Christos Dimitrakakis|arXiv (Cornell University)|Apr 15, 2021

Formal Methods in Verification参考文献 14被引用数 4

ひとこと要約

本稿では、前方探索深さに応じて信念空間の被覆を動的に精錬することで、メモリ使用量と計算複雑性を低減するオンラインPOMDP計画のための適応的信念離散化手法を提案する。計画誤差と被覆数に関する理論的境界を提供し、最小限のチューニングで最先端の性能を達成または上回る計算効率の高いソルバー（FMP）を実現する。

ABSTRACT

Partially Observable Markov Decision Processes (POMDP) is a widely used model to represent the interaction of an environment and an agent, under state uncertainty. Since the agent does not observe the environment state, its uncertainty is typically represented through a probabilistic belief. While the set of possible beliefs is infinite, making exact planning intractable, the belief space's complexity (and hence planning complexity) is characterized by its covering number. Many POMDP solvers uniformly discretize the belief space and give the planning error in terms of the (typically unknown) covering number. We instead propose an adaptive belief discretization scheme, and give its associated planning error. We furthermore characterize the covering number with respect to the POMDP parameters. This allows us to specify the exact memory requirements on the planner, needed to bound the value function error. We then propose a novel, computationally efficient solver using this scheme. We demonstrate that our algorithm is highly competitive with the state of the art in a variety of scenarios.

研究の動機と目的

• 無限の信念空間による正確なPOMDP計画の高コストなメモリ使用量と計算コストを軽減すること。
• 前方探索深さに応じた適応的スキームに置き換えることで、均一な信念離散化に起因する計画誤差を低減すること。
• POMDPパラメータ（状態空間のサイズ、行動空間のサイズ、割引因子など）を用いて、信念空間の被覆数に関する明示的な理論的境界を提供すること。
• 調整可能な離散化パラメータにより、計画誤差を直接制御できる計画者を設計すること。
• 最小限のハイパーパrameterチューニングで強力な性能を維持する計算効率の高いオンラインPOMDPソルバーを開発すること。

提案手法

• 前方探索深さと誤差許容度に応じて被覆サイズが変化する適応的離散化スキームを提案し、信念空間の被覆を生成する。
• ε-被覆を用いて信念空間を近似し、深さに依存する誤差境界に基づく動的精錬によって被覆サイズを最小化する。
• POMDPパラメータ（状態空間サイズ、行動空間サイズ、割引因子など）を用いて、信念空間の被覆数に対する理論的上界を導出する。
• 適応的離散化を統合した新規のオンライン計画者（FMP）を設計し、制御された誤差で深い前方探索木を構築する。
• 不確実性が高く、価値の可能性が大きい信念空間の領域を優先する信念木探索戦略を採用し、適応的被覆に従って制御する。
• 計算コストと誤差のバランスをとるために、離散化シーケンス $\epsilon_d$ と初期解像度 $h_0$ をチューニングする。

実験結果

リサーチクエスチョン

• RQ1 前方探索深さに応じて信念空間の離散化を適応的に制御することで、POMDP計画におけるメモリ使用量と計算複雑性をどのように低減できるか？
• RQ2 信念空間の被覆数と元のPOMDPパラメータとの間には、どのような理論的関係があるか？
• RQ3 均一な離散化と比較して、適応的離散化スキームは計画誤差に対してよりタイトな境界を提供できるか？
• RQ4 提案手法の誤差境界は、計画者のメモリ使用量と計算要件とどのように関係するか？
• RQ5 単純でチューニングが少ない計画者で、最先端のPOMDPソルバーと同等の性能を達成できる範囲はどの程度か？

主な発見

• FMP計画者はRockSampleおよびRandomPOMDP環境で競争力のある性能を示し、Python実装であるにもかかわらず、POMCPやDESPOTと同等またはそれ以上の平均割引報酬を達成した。
• RS[15,15]環境では、FMPは15.67 ± 0.37の割引報酬を達成し、報告された結果においてPOMCP（15.32 ± 0.28）とDESPOT（18.64 ± 0.28）を上回った。
• RandomPOMDPでは、低スパarsity設定（例：RP[30,0.9]で6.36）において最良の性能を示し、初期に多数の信念が存在する状況でも優れた性能を発揮した。
• FMP計画者の性能は、最小限のチューニングで環境間で安定しており、POMCP や DESPOT が複数の複雑なハイパーパrameterを必要とするのに対し、$h_0$ と $\epsilon_d$ シーケンスのみを必要とした。
• 理論的分析により、信念空間の被覆数がPOMDPパラメータの観点から境界づけられ、正確なメモリ使用量と誤差制御が可能であることが示された。
• 適応的離散化スキームは、均一な方法と比較して信念被覆のサイズを顕著に低減し、直接的にメモリ使用量と計算オーバーヘッドを削減した。