[論文レビュー] Cost Sensitive Reachability Heuristics for Handling State Uncertainty

Daniel Bryce, Subbarao Kambhampati|arXiv (Cornell University)|Jul 4, 2012

AI-based Problem Solving and Planning参考文献 23被引用数 5

ひとこと要約

本稿では、状態の不確実性下でのスケーラビリティと計画品質のトレードオフを改善するため、アクションコストの認識を計画グラフのヒューリスティクスに統合したコスト感受性のある到達可能性ヒューリスティクスを導入する。これにより、非決定的条件付き計画法におけるスケーラブルで高品質な計画が可能になる。本手法は、非一様なアクションコストを有するドメインにおいて、既存の計画法と比較して計画品質とスケーラビリティの両方を向上させる。

ABSTRACT

While POMDPs provide a general platform for non-deterministic conditional planning under a variety of quality metrics they have limited scalability. On the other hand, non-deterministic conditional planners scale very well, but many lack the ability to optimize plan quality metrics. We present a novel generalization of planning graph based heuristics that helps conditional planners both scale and generate high quality plans when using actions with nonuniform costs. We make empirical comparisons with two state of the art planners to show the benefit of our techniques.

研究の動機と目的

• 状態の不確実性下における非決定的条件付き計画法におけるスケーラビリティと計画品質のトレードオフを解決すること。
• 部分的に観測可能な環境における非一様なアクションコストを考慮するように、計画グラフに基づくヒューリスティクスを拡張すること。
• アクションコストが顕著に異なるドメインにおいて、高品質でスケーラブルな計画を可能にすること。
• POMDP（部分的に観測可能なマルコフ意思決定過程）—最適化の品質は高いがスケーラビリティに制限がある—と、スケーラブルではあるがコスト認識のない非決定的計画法との間のギャップを埋めること。

提案手法

• 到達可能性解析を変更し、コスト感受性のある経路評価を反映させることで、アクションコストを組み込んだ計画グラフのヒューリスティクスを一般化する。
• コスト感受性のある到達可能性推定値を用いて、条件付き計画法における探索をガイドし、ゴール状態に至る累積コストが低い経路を優先する。
• 到達可能性とコスト到着推定値を組み合わせた修正されたヒューリスティクス関数を導入し、不確実な状態空間における探索のガイダンスを向上させる。
• 逆方向の到達可能性解析を採用し、状態が到達可能かどうかだけでなく、到達するための最小コストも追跡する。
• 非決定的条件付き計画フレームワーク内にヒューリスティクスを適用し、高品質でコスト効率の良い計画への探索をガイドする。
• ベンチマーク問題を用いた2つの最先端の計画法との実験的比較により、本手法の有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 部分的に観測可能なドメインにおいて、計画グラフのヒューリスティクスを非一様なアクションコストを考慮するようにどのように拡張できるか？
• RQ2 コスト感受性のあるヒューリスティクスは、非決定的条件付き計画法においてスケーラビリティと計画品質の両方を向上させることができるか？
• RQ3 提案されたヒューリスティクスは、従来のヒューリスティクスと比較して、解の品質と実行時間性能の面でどのように異なるか？
• RQ4 どのような種類のドメインでコスト感受性が計画の有効性を顕著に向上させるか？

主な発見

• 提案されたコスト感受性のある到達可能性ヒューリスティクスは、非決定的計画におけるベースラインヒューリスティクスと比較して、計画品質を顕著に向上させる。
• 本手法は、POMDPベースのアプローチよりも優れたスケーラビリティを達成しながらも、高い解の品質を維持する。
• 実験的評価により、計画コストと探索効率の両面で、2つの最先端の計画法よりも優れた性能を示した。
• 到達可能性解析にコスト情報を取り入れることで、より効果的なプルーニングが可能になり、最適または準最適な計画への収束が速くなった。