[論文レビュー] Heuristic Search Value Iteration for POMDPs

Trey Smith, Reid Simmons|arXiv (Cornell University)|Jul 11, 2012

Scheduling and Optimization Algorithms被引用数 18

ひとこと要約

本稿では、注意を集中させる探索ヒューリスティクスと、分離線形凸価値関数表現を組み合わせることで、証明可能なレグリットバウンドを備えた、任意のタイミングで実行可能なPOMDP計画アルゴリズムであるヒューリスティックサーチ価値反復（HSVI）を提案する。ベンチマーク問題において、HSVIは最先端の価値反復手法と比較して100倍を超える高速化を達成し、従来のPOMDP問題の10倍も大きなローバー探査問題へもスケーリングに成功している。

ABSTRACT

We present a novel POMDP planning algorithm called heuristic search value iteration (HSVI).HSVI is an anytime algorithm that returns a policy and a provable bound on its regret with respect to the optimal policy. HSVI gets its power by combining two well-known techniques: attention-focusing search heuristics and piecewise linear convex representations of the value function. HSVI's soundness and convergence have been proven. On some benchmark problems from the literature, HSVI displays speedups of greater than 100 with respect to other state-of-the-art POMDP value iteration algorithms. We also apply HSVI to a new rover exploration problem 10 times larger than most POMDP problems in the literature.

研究の動機と目的

• POMDPを解く際の計算的非効率性に対処するため、より効率的な計画アルゴリズムを開発すること。
• 最適方策に対するレグリットの観点で、性能保証が可能な任意のタイミング計画を可能にすること。
• 従来の手法が扱えるサイズ制限を超えて、より大きな現実世界の問題へPOMDP計画をスケーリングすること。
• ヒューリスティックサーチ技術と価値関数表現を統合し、収束性と効率性を向上させること。

提案手法

• HSVIは、価値関数におけるレグリット低減の可能性が最も高いと予想される信念状態を優先して処理する、注意を集中させる探索ヒューリスティクスを用いる。
• 効率的な計算と近似を可能にするために、価値関数の分離線形凸表現を維持する。
• 高レグリット低減可能性を示す信念状態に注目することで、方策と価値関数を段階的に改善する。
• 現在の方策の価値と最適価値の差を、証明可能な方法で縮小するバウンドタイトニング機構を採用する。
• HSVIは、計算時間の延長に応じて次第に改善される方策を返す、任意のタイミングアルゴリズムとして設計されている。
• 動的計画法の原則とヒューリスティックなガイダンスを組み合わせることで、全信念空間を網羅的に探索するのを避ける。

実験結果

リサーチクエスチョン

• RQ1 ヒューリスティックサーチ技術を価値反復に効果的に統合することで、POMDP計画の高速化が可能か？
• RQ2 既存手法と比較して顕著な高速化を達成しつつ、証明可能なレグリットバウンドを維持できるPOMDPアルゴリズムは存在するか？
• RQ3 提案手法は、従来のサイズ制限を超えて、より大きな現実世界のPOMDP問題へスケーリング可能か？
• RQ4 分離線形凸価値関数とヒューリスティックサーチの組み合わせが、収束性と効率性をどのように向上させるか？

主な発見

• HSVIは、ベンチマーク問題において、最先端のPOMDP価値反復アルゴリズムと比較して100倍を超える高速化を達成している。
• アルゴリズムは証明可能なレグリットバウンドを提供しており、計算された方策の性能が最適方策からの距離が既知であることを保証している。
• HSVIは、文献に報告されたPOMDP問題の10倍も大きなローバー探査問題へも成功してスケーリングしている。
• ヒューリスティックサーチと価値関数表現の統合により、収束が早くなり、計算オーバーヘッドが低減されている。