[論文レビュー] FHHOP: A Factored Hybrid Heuristic Online Planning Algorithm for Large POMDPs

Zongzhang Zhang, Xiaoping Chen|arXiv (Cornell University)|Oct 16, 2012

Reinforcement Learning in Robotics参考文献 25被引用数 9

ひとこと要約

FHHOP は、要因的な状態表現とハイブリッドヒューリスティック探索戦略を組み合わせることで、スケーラビリティと解の品質を向上させる、大規模な部分的に観測可能なマルコフ決定過程（POMDP）のための新しいオンライン計画アルゴリズムである。FHHOP は、要因的な構造の活用と適応的ヒューリスティックの誘導により、関連する信念状態に計算を集中させることで、ベンチマーク問題において最先端のオンラインヒューリスティック探索手法を上回る性能を発揮する。

ABSTRACT

Planning in partially observable Markov decision processes (POMDPs) remains a challenging topic in the artificial intelligence community, in spite of recent impressive progress in approximation techniques. Previous research has indicated that online planning approaches are promising in handling large-scale POMDP domains efficiently as they make decisions "on demand" instead of proactively for the entire state space. We present a Factored Hybrid Heuristic Online Planning (FHHOP) algorithm for large POMDPs. FHHOP gets its power by combining a novel hybrid heuristic search strategy with a recently developed factored state representation. On several benchmark problems, FHHOP substantially outperformed state-of-the-art online heuristic search approaches in terms of both scalability and quality.

研究の動機と目的

• 完全な状態表現が計算的に非現実的である大規模 POMDP における計画の課題に対処すること。
• 要因的な状態表現を活用することで、POMDP におけるオンライン計画のスケーラビリティと解の品質を向上させること。
• 信念空間において探索と活用のバランスを動的にとるハイブリッドヒューリスティック探索戦略の開発。
• 全状態空間を事前に計算するのではなく、関連する信念状態に計算を集中させることで、オンデマンドでの意思決定を効率的に行えるようにすること。

提案手法

• FHHOP は、信念空間を条件付き独立なコンポONENTに分解する要因的な状態表現を用い、計算複雑性を低減する。
• 価値関数の近似とドメイン固有のヒューリスティクスを組み合わせたハイブリッドヒューリスティック探索戦略を採用し、高価値の行動へと探索を誘導する。
• アルゴリズムは、有望なパスに沿ってのみ信念木を段階的に拡張することで、オンライン計画を実行し、全探索を回避する。
• 信念更新を保持するため、遷移および観測モデルの要因的表現を統合する。
• ヒューリスティック関数は、現在の信念状態と行動の結果に基づき、探索中に適応的に精錬される。
• FHHOP は、メモリと計算量を制御するための幅制限付き探索戦略を用いることで、大規模 POMDP へのスケーラビリティを確保する。

実験結果

リサーチクエスチョン

• RQ1 要因的な表現は、大規模 POMDP におけるオンライン計画のスケーラビリティを顕著に向上させることができるか？
• RQ2 ドメイン固有のヒューリスティクスと価値関数近似を組み合わせることで、オンライン POMDP 計画における解の品質にどのような影響を与えるか？
• RQ3 ハイブリッドヒューリスティック探索は、近似的最適な方策を維持しながら、信念拡張の回数をどの程度削減できるか？
• RQ4 要因的な構造の統合は、ベンチマーク POMDP 問題において、標準的なオンラインヒューリスティック探索手法よりも優れたパフォーマンスをもたらすか？
• RQ5 適応的ヒューリスティック誘導によるオンライン計画は、大規模 POMDP において、オフラインまたは完全な価値関数アプローチを上回ることができるか？

主な発見

• FHHOP は、複数のベンチマーク POMDP 問題において、最先端のオンラインヒューリスティック探索手法を上回る優れたパフォーマンスを発揮し、スケーラビリティの向上を示した。
• 要因的な表現を活用することで、全状態信念空間の列挙を回避し、計算時間とメモリ使用量を削減した。
• 平均して、FHHOP は競合手法よりも高い期待収益を持つ方策を発見したが、特に高次元 POMDP において顕著であった。
• ハイブリッドヒューリスティック戦略により、関連する信念領域に集中することで、高品質な行動への収束が迅速化した。
• FHHOP は、グリッドワールドやロボットナビゲーションタスクを含む多様な問題領域で、強力なパフォーマンスを維持した。
• 要因的な構造と適応的ヒューリスティクスの統合により、FHHOP は、従来のオンライン手法では扱えなかった、はるかに大きな状態空間を有する POMDP へとスケーリング可能となった。