[論文レビュー] RAPID: A Reachable Anytime Planner for Imprecisely-sensed Domains

Emma Brunskill, Stuart Russell|arXiv (Cornell University)|Mar 15, 2012

AI-based Problem Solving and Planning参考文献 20被引用数 18

ひとこと要約

RAPID は、感度が不正確な領域における部分的に観測可能なマルコフ意思決定過程（POMDP）のための新しい anytime 計画アルゴリズムであり、要因付きダイナミクスにおけるトポロジカル構造を活用して、状態変数に比例する線形時間で到達可能な状態の初期エンベロープを計算する。このエンベロープを繰り返し拡張することで、計算効率が高くスケーラブルな計画が可能となり、122個の状態変数と10^30を超える可能な状態を有するチューティングシミュレーションにおいて優れた性能を示した。

ABSTRACT

Despite the intractability of generic optimal partially observable Markov decision process planning, there exist important problems that have highly structured models. Previous researchers have used this insight to construct more efficient algorithms for factored domains, and for domains with topological structure in the flat state dynamics model. In our work, motivated by findings from the education community relevant to automated tutoring, we consider problems that exhibit a form of topological structure in the factored dynamics model. Our Reachable Anytime Planner for Imprecisely-sensed Domains (RAPID) leverages this structure to efficiently compute a good initial envelope of reachable states under the optimal MDP policy in time linear in the number of state variables. RAPID performs partially-observable planning over the limited envelope of states, and slowly expands the state space considered as time allows. RAPID performs well on a large tutoring-inspired problem simulation with 122 state variables, corresponding to a flat state space of over 10^30 states.

研究の動機と目的

• 高次元で感度が不正確な領域における最適 POMDP 計画の計算不能性に対処する。
• 平坦または要因付きの状態ダイナミクスを仮定するが、トポロジカル構造を持たない従来の手法の制限を克服する。
• 段階的に考慮する状態空間を拡大しながら、解の品質を維持するスケーラブルな計画手法を開発する。
• 自動チューティングシステムなど、高次元の状態空間を有する複雑な現実世界の分野への実用的導入を可能にする。
• 具体的には、要因付きダイナミクスにおけるトポロジカル構造といったドメイン固有の構造的インサイトを活用して、計画の複雑さを低減する。

提案手法

• POMDP の要因付きダイナミクスモデルにおけるトポロジカル構造を特定・活用し、到達可能な状態のエンベロープを定義する。
• 最適方策に従う状態の初期エンベロープを、状態変数の数に比例する線形時間で計算する。
• 限定的で動的に拡張される状態エンベロープ上で部分的に観測可能な計画を実行する。
• 計算時間の許容範囲内で段階的に状態空間を拡大し、anytime 性能を実現する。
• 指数的状態空間の完全な列挙を避けるために、トポロジカル構造に基づく状態空間のコンパクト表現を用いる。
• 動的拡張を POMDP 計画と統合し、時間経過に伴う解の品質と計算コストのバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 POMDP の要因付きダイナミクスにおけるトポロジカル構造を活用することで、不正確に測定される領域におけるスケーラブルな anytime 計画が可能になるか。
• RQ2 全指数的状態空間を列挙せずに、到達可能な状態空間を効率的に計算する方法は何か。
• RQ3 動的に拡張される到達可能な状態のエンベロープに制限して計画を行う場合、解の品質はどの程度維持されるか。
• RQ4 状態変数の数が増加するに従い、アルゴリズムの性能と解の品質はどのように変化するか。
• RQ5 本手法は、知的チューティングシステムのような、高次元で部分的に観測可能な状態空間を有する現実世界の問題に効果的に適用可能か。

主な発見

• RAPID は、状態変数の数に比例する線形時間で、到達可能な状態の初期エンベロープを計算し、効率的な計画の開始を可能にする。
• アルゴリズムは限定的で動的に拡張される状態空間上で計画を実行し、解の品質を維持しながら大規模な領域へスケーリングする。
• 122個の状態変数を有するチューティングを模倣したシミュレーションでは、RAPID が 10^30 を超える可能な状態を有する状態空間上で動作し、スケーラビリティを実証した。
• 大規模なシミュレーションにおいて、本手法は解の品質と計算効率の両面でベースライン手法を上回る優れた性能を示した。
• 要因付きダイナミクスモデルにおけるトポロジカル構造の活用により、全 POMDP ソルバーよりも著しく計画の複雑さが低減された。
• RAPID は anytime 性能を提供し、割り当てられた時間が増えるに従い解の品質が向上するため、リアルタイム応用に適している。