[論文レビュー] A Symbolic SAT-based Algorithm for Almost-sure Reachability with Small Strategies in POMDPs

Krishnendu Chatterjee, Martin Chmelík+1 more|arXiv (Cornell University)|Jan 1, 2015

Formal Methods in Verification参考文献 41被引用数 24

ひとこと要約

本稿では、小規模メモリ戦略を用いたPOMDPにおけるalmost-sure reachability問題を解くための記号的SATベースのアルゴリズムを提示する。問題を命題論理に符号化し、効率的なSATソルバを活用することで、明示的手法に比べて大幅にスケーリングが向上し、大規模なPOMDPインスタンスにおいても最小限のメモリ使用量でalmost-sure reachabilityの検証が可能になる。

ABSTRACT

POMDPs are standard models for probabilistic planning problems, where an agent interacts with an uncertain environment. We study the problem of almost-sure reachability, where given a set of target states, the question is to decide whether there is a policy to ensure that the target set is reached with probability 1 (almost-surely). While in general the problem is EXPTIME-complete, in many practical cases policies with a small amount of memory suffice. Moreover, the existing solution to the problem is explicit, which first requires to construct explicitly an exponential reduction to a belief-support MDP. In this work, we first study the existence of observation-stationary strategies, which is NP-complete, and then small-memory strategies. We present a symbolic algorithm by an efficient encoding to SAT and using a SAT solver for the problem. We report experimental results demonstrating the scalability of our symbolic (SAT-based) approach.

研究の動機と目的

• belief-support MDPの指数的構築を要する明示的手法のスケーラビリティの限界を克服すること。
• 実世界の応用において実用的である観察定常的（observation-stationary）または有界メモリの戦略を、almost-sure reachabilityの合成に可能とすること。
• 明示的な状態空間構築を回避する記号的かつSATベースのアプローチを開発し、従来の手法よりも大規模なPOMDPインスタンスにスケーリングすること。
• SATソルバの改善が、定性的なPOMDP問題の解決に直接寄与することを示し、段階的かつ並列化可能なソルビングを可能とすること。
• EXPTIME完全な明示的構築の実用的でスケーラブルな代替手段を提供し、効率的な符号化により問題をSATに還元すること。

提案手法

• 記号的かつコンパクトな符号化を用いて、POMDPにおけるalmost-sure reachability問題をブール充足可能性（SAT）問題に変換する。
• 最悪ケースにおいて変数の数が2次、節の数が3次となる。これは、単純な4次符号化に比べて顕著に効率的である。
• パス長を段階的に符号化することで段階的SATソルビングを可能とし、最小メモリ戦略の効率的探索を実現する。
• 有界メモリ（µ状態）を持つ戦略を扱えるように符号化を拡張し、小規模メモリの勝利戦略の合成を可能にする。
• 最先端のSATソルバを活用して符号化された論理式を解き、belief MDPの明示的構築を回避する。
• 段階的ソルビングを統合し、almost-sure reachabilityに必要な最小メモリサイズの効率的探索を実現する。

実験結果

リサーチクエスチョン

• RQ1 POMDPにおけるalmost-sure reachability問題は、belief-support MDPを明示的に構築せずに記号的に解けるか？
• RQ2 almost-sure reachabilityのための観察定常的（メモリレス）戦略を見つける際の計算複雑性は何か？ そして、効率的に解けるか？
• RQ3 SATベースの符号化を用いて、有界メモリを持つ小規模メモリ戦略を、almost-sure reachabilityのために効率的に合成できるか？
• RQ4 実際のPOMDPインスタンスにおいて、SATベースのアプローチと明示的構築手法の性能はどのように比較できるか？
• RQ5 段階的SATソルビングは、最小メモリの勝利戦略を効率的に見つけるためにどの程度効果を発揮するか？

主な発見

• POMDPにおける観察定常的戦略の探索問題はNP完全であるため、効率的なSATベースの符号化が可能である。
• 提案されたSAT符号化は、実際には変数の数が2次、節の数が3次となる。これは、単純な4次符号化に比べ顕著に優れている。
• SATベースのアプローチは、39,273状態（例：29×20 Hallway）にまでスケーリング可能であり、明示的手法は30分でタイムアウトした。
• Escape POMDPでは、SATソルバが5つのメモリ状態を持つ勝利戦略を10分未塔で発見したが、明示的手法は12×12グリッドを越えてスケーリングできなかった。
• 25,173状態のRockSampleインスタンスでは、SATベースの手法が80秒未塔で問題を解いたが、明示的手法はより小さなインスタンスですでに3分以上を要した。
• SATソルビングのメモリ使用量は5.6 GBに制限された一方、明示的手法は約30 GBを消費し、大規模インスタンスでタイムアウトした。