[論文レビュー] Qualitative Analysis of POMDPs with Temporal Logic Specifications for Robotics Applications

Krishnendu Chatterjee, Martin Chmelík+2 more|arXiv (Cornell University)|Jan 1, 2014

Formal Methods in Verification参考文献 27被引用数 1

ひとこと要約

本稿では、ロボット工学における時系列論理仕様を伴う部分観測マルコフ決定過程（POMDP）の定性的分析問題に対する、初めての実用的アプローチを提示する。先行研究のEXPTIME完全なアルゴリズムとヒューリスティクスを組み合わせることで、ほぼ確実にLTL性質を満たす有限記憶制御則のスケーラブルな合成を可能にし、数秒から数分でベンチマークとしてのロボット工学的問題を効果的に解けるようになった。

ABSTRACT

We consider partially observable Markov decision processes (POMDPs), that are a standard framework for robotics applications to model uncertainties present in the real world, with temporal logic specifications. All temporal logic specifications in linear-time temporal logic (LTL) can be expressed as parity objectives. We study the qualitative analysis problem for POMDPs with parity objectives that asks whether there is a controller (policy) to ensure that the objective holds with probability 1 (almost-surely). While the qualitative analysis of POMDPs with parity objectives is undecidable, recent results show that when restricted to finite-memory policies the problem is EXPTIME-complete. While the problem is intractable in theory, we present a practical approach to solve the qualitative analysis problem. We designed several heuristics to deal with the exponential complexity, and have used our implementation on a number of well-known POMDP examples for robotics applications. Our results provide the first practical approach to solve the qualitative analysis of robot motion planning with LTL properties in the presence of uncertainty.

研究の動機と目的

• 時系列論理スペックを用いた不確実性下でのロボット運動計画の課題に対処すること。
• パリティ目的を伴うPOMDPの定性的分析問題を解き、LTL性質のほぼ確実満たしを保証すること。
• 理論的にEXPTIME完全であるにもかかわらず、有限記憶制御則のためのスケーラブルで実用的なアルゴリズムを開発すること。
• 部分観測と複雑な時系列要件を伴う実世界のロボットタスクへの形式的手法の適用を可能にすること。
• ロボット用途に適したドメイン固有のヒューリスティクスを導入することで、POMDP解析の非効率性を克服すること。

提案手法

• LTLスペックを決定的パリティオートマトンに還元し、問題をパリティ目的を伴うPOMDPに変換する。
• 有限記憶制御則の下で、パリティ目的を伴うPOMDPの定性的分析のためのEXPTIME完全なアルゴリズムを適用する。
• 指数的状態空間の増大を管理するためのヒューリスティクスを導入し、信念サポート集合の削減とプルーニングに焦点を当てる。
• 全明示的列挙を回避するため、段階的および記号的技術によるサブセット構築の最適化を行う。
• ほぼ確実に勝利する戦略が存在する場合に、有限記憶制御則を合成するツールを実装する。
• モデル簡略化技術を用いて、パリティ目的をコ・ブーチェ目的に変換し、検証を単純化する。

実験結果

リサーチクエスチョン

• RQ1 理論的にEXPTIME完全であるにもかかわらず、パリティ目的を伴うPOMDPの定性的分析問題は、実用的に解けるのか？
• RQ2 時系列論理制約を伴うPOMDPの信念空間構築における状態爆発を効果的に低減するためのヒューリスティクスは何か？
• RQ3 有限記憶制御則は、実世界のロボット工学的問題において、LTL性質のほぼ確実満たしをどの程度達成できるか？
• RQ4 提案されたヒューリスティクスは、ナビゲーションや探索のようなロボット用途のベンチマークPOMDPでどの程度の性能を示すか？
• RQ5 状態空間および観測の複雑さが増加する問題において、このアプローチのスケーラビリティはどの程度か？

主な発見

• 提案されたヒューリスティクスにより、EXPTIMEアルゴリズムが実用的となり、最大709状態のPOMDPが21秒未塔で解けるようになった。
• ホールウェイおよび迷路問題のすべてのバリアントが、ホールウェイでは20秒未塔、迷路では12分未塔で解かれた。再発生や障害物回避といった複雑な目的も含めた。
• 最大15状態のスペースシャトルおよびチェージーミニア問題は、1.1秒未塔で解かれた。これは、小規模から中規模のモデルに対して高い効率性を示している。
• ヒューリスティクスなしでは実装が失敗した。全テスト例で、サブセット構築が禁断のものになることを確認しており、ヒューリスティクスの必要性が裏付けられた。
• RS[4,2]およびRS[4,3]問題（最大3921状態）も、それぞれ15秒未塔および15分未塔で解けた。
• 最大の解かれたインスタンスである迷路B（641状態、簡略化後642状態）は668.17秒で解かれた。これは、複雑なロボット工学的タスクへのスケーラビリティを示している。