[論文レビュー] Finding Approximate POMDP solutions Through Belief Compression

Nicholas Roy, Tom M. Mitchell+1 more|Jun 30, 2011

Distributed Sensor Networks and Detection Algorithms被引用数 23

ひとこと要約

この論文では、尤度関数族主成分分析（E-PCA）を用いて信念空間を圧縮することで、大規模な部分的に観測可能なマルコフ決定過程（POMDP）を解く手法を提案している。これにより、低次元の信念特徴空間における効率的な計画が可能となり、現実の問題で生じる構造的で低次元の信念部分空間に焦点を当てることで、従来の手法よりもはるかにスケーラブルな性能を達成している。

ABSTRACT

Standard value function approaches to finding policies for Partially Observable Markov Decision Processes (POMDPs) are generally considered to be intractable for large models. The intractability of these algorithms is to a large extent a consequence of computing an exact, optimal policy over the entire belief space. However, in real-world POMDP problems, computing the optimal policy for the full belief space is often unnecessary for good control even for problems with complicated policy classes. The beliefs experienced by the controller often lie near a structured, low-dimensional subspace embedded in the high-dimensional belief space. Finding a good approximation to the optimal value function for only this subspace can be much easier than computing the full value function. We introduce a new method for solving large-scale POMDPs by reducing the dimensionality of the belief space. We use Exponential family Principal Components Analysis (Collins, Dasgupta and Schapire, 2002) to represent sparse, high-dimensional belief spaces using small sets of learned features of the belief state. We then plan only in terms of the low-dimensional belief features. By planning in this low-dimensional space, we can find policies for POMDP models that are orders of magnitude larger than models that can be handled by conventional techniques. We demonstrate the use of this algorithm on a synthetic problem and on mobile robot navigation tasks.

研究の動機と目的

• 完全な信念空間の高次元性により、標準的な価値関数手法では大規模POMDPを解くことが計算的に困難であるという問題に対処すること。
• 現実のPOMDPではしばしば信念が低次元で構造的な部分空間上に存在するという事実を活用し、完全な信念空間の計算が不要であることを示すこと。
• サンプルデータから得た信念のコンactで低次元の表現を学習することで、近似的なPOMDP解をスケーラブルに計算する手法を開発すること。
• 元の信念空間が高次元かつ疎である場合でも、圧縮された信念空間での計画が、移動ロボットナビゲーションのような複雑なタスクに対して有効な方策を生成することを実証すること。

提案手法

• 尤度関数族主成分分析（E-PCA）を用いて、サンプルデータから得た高次元で疎な信念状態の低次元特徴表現を学習する。
• 学習された特徴を用いて、完全な信念を低次元空間に射影することで、その後の計画の複雑さを低減する。
• 価値反復と方策学習を、低次元の信念特徴空間内でのみ実行することで、計算コストを顕著に削減する。
• 次元削減の過程で信念構造の本質を保持するために、再構成誤差に基づく損失関数を採用し、方策の品質を保証する。
• 合成問題および長大な不確実性を持つ環境（例：Longwood施設）における実世界の移動ロボットナビゲーションタスクに本手法を適用する。
• POMDPモデルから得たサンプル信念を用いてE-PCA表現を学習し、完全な信念空間を明示的に計算する必要を回避する。

実験結果

リサーチクエスチョン

• RQ1 E-PCAによる信念空間次元削減は、大規模POMDPにおける効率的かつ効果的な計画を可能にするか？
• RQ2 現実の問題で一般的な低次元の信念部分空間に焦点を当てることで、完全な信念空間の計算を避けても、高品質な方策を得られるか？
• RQ3 標準的なPCAと比較して、E-PCAは疎で高次元のPOMDPにおける信念分布の構造をどの程度正確に保持するか？
• RQ4 本手法は、従来の技術で解ける範囲よりも数個桁大きいPOMDPにスケーリング可能か？
• RQ5 圧縮された方策の性能は、E-PCAによって学習された信念表現の品質にどの程度依存するか？

主な発見

• 本手法は、標準的な価値反復手法で解ける範囲よりも数個桁大きいPOMDPを効果的に解くことに成功し、顕著なスケーラビリティを示した。
• E-PCAによる信念圧縮は、特に疎で高次元の信念空間において、現実の問題における信念分布の本質的構造を的確に捉えている。
• 本手法は、53.6m × 37.9mのLongwood施設のような大規模で不確実性の高い環境において、状態の不確実性を無視する従来の制御器よりも優れた性能を示す、効果的な制御方策を達成した。
• E-PCAが学習した低次元の信念特徴は、元の信念空間が計算的に扱いきれないほど巨大であっても、正確な価値関数近似と方策学習を可能にした。
• 完全な信念空間の計算に比べて著しく計算コストを削減しつつ、圧縮された信念空間での計画が、ほぼ同等の性能を持つ方策を生成できることを示した。
• 信念が低次元で曲がった多様体上に存在する場合に本手法は最も効果的であり、複数の非連結な低次元表面をカバーする信念では性能が著しく低下することが判明し、主な制限要因であることが示された。