[論文レビュー] Bounded Policy Synthesis for POMDPs with Safe-Reachability Objectives

Yue Wang, Swarat Chaudhuri+1 more|arXiv (Cornell University)|Jan 29, 2018

Reinforcement Learning in Robotics参考文献 41被引用数 18

ひとこと要約

本稿では、安全到達性の目的（高い確率でゴールに到達し、安全でない状態の訪問を最小限に抑える）を満たす部分的に観測可能なマルコフ決定過程（POMDP）を解くための新しい手法である境界付き方策合成（Bounded Policy Synthesis; BPS）を提案する。BPSは、記号的制約を用いてゴール制約付きの信念空間を構築し、インクリメンタルな充足論理理論（SMT）ソルバを用いて有効な方策を効率的に探索する。大規模な信念空間においてもSMTコール数を最小限に抑え、不確実な障害物を伴うロボットナビゲーションの事例で高い性能を達成した。

ABSTRACT

Planning robust executions under uncertainty is a fundamental challenge for building autonomous robots. Partially Observable Markov Decision Processes (POMDPs) provide a standard framework for modeling uncertainty in many applications. In this work, we study POMDPs with safe-reachability objectives, which require that with a probability above some threshold, a goal state is eventually reached while keeping the probability of visiting unsafe states below some threshold. This POMDP formulation is different from the traditional POMDP models with optimality objectives and we show that in some cases, POMDPs with safe-reachability objectives can provide a better guarantee of both safety and reachability than the existing POMDP models through an example. A key algorithmic problem for POMDPs is policy synthesis, which requires reasoning over a vast space of beliefs (probability distributions). To address this challenge, we introduce the notion of a goal-constrained belief space, which only contains beliefs reachable from the initial belief under desired executions that can achieve the given safe-reachability objective. Our method compactly represents this space over a bounded horizon using symbolic constraints, and employs an incremental Satisfiability Modulo Theories (SMT) solver to efficiently search for a valid policy over it. We evaluate our method using a case study involving a partially observable robotic domain with uncertain obstacles. The results show that our method can synthesize policies over large belief spaces with a small number of SMT solver calls by focusing on the goal-constrained belief space.

研究の動機と目的

• 従来の定量的目的では十分に捉えきれない、明示的な安全および到達性保証を備えたPOMDPのための方策合成の課題に取り組むこと。
• 大規模な信念空間における方策合成の計算的非効率性を、望ましい実行経路下での到達可能な信念に限定することで克服すること。
• 効率的な推論を可能にするために、記号的制約を用いてゴール制約付き信念空間をコンactに表現するスケーラブルな手法を開発すること。
• 不確実な障害物と境界付きのホライズンを伴う現実的なロボットドメインで手法を評価すること。
• ゴール制約付き信念空間に焦点を当てることで、全探索に比べてSMTソルバのコール数が著しく削減されることを示すこと。

提案手法

• 安全到達性の目的を満たす実行経路下でのみ到達可能な信念のみを含む、ゴール制約付き信念空間の概念を導入する。
• 境界付きモデルチェックイング（BMC）の原則に従って導出された記号的制約を用いて、限定されたホライズン上での信念空間をコンパクトに表現する。
• インクリメンタルな充足論理理論（SMT）ソルバを用いて、ゴール制約付き信念空間を効率的に探索し、方策を合成する。
• 各ステップにおける行動と観測を符号化するツリー型方策表現を用い、不正な経路をブロックする制約を設ける。
• ホライズンを拡大する際、以前のソルバ状態を再利用することで性能を向上させるインクリメンタルソルビングを活用する。
• BMC風のエンコーディングを用いてプッシュ/プッシュ制約を処理し、方策探索中の制約管理を効率化する。

実験結果

リサーチクエスチョン

• RQ1 安全到達性の目的を備えたPOMDPのための方策合成手法は、従来の定量的定式化に比べ、安全性および到達性の保証において優れているか？
• RQ2 記号的制約を用いてゴール制約付き信念空間をコンパクトに表現でき、探索空間を削減できるか？
• RQ3 インクリメンタルSMTソルビングは、方策合成におけるコール数の削減とスケーラビリティの向上に顕著な効果をもたらすか？
• RQ4 部分的に観測可能なロボット環境において、障害物数と信念空間サイズの増加に伴い、この手法はどのようにスケーリングするか？
• RQ5 全探索に比べて、ゴール制約付き信念空間に焦点を当てることで、探索する計画数はどの程度削減されるか？

主な発見

• 本手法は、24個のグリッドセルと4つの障害物を伴うロボットナビゲーションドメインにおいて、到達可能な信念空間の計画数が約10^21に達するにもかかわらず、約120回のSMTソルバコールで方策合成を達成した。
• SMTソルバにおけるインクリメンタルソルビングを有効化することで、合成時間の著しい短縮が確認され、ホライズンの拡大に伴うソルバ状態の再利用の有効性が示された。
• 障害物数の増加に伴い、方策木のサイズと信念空間の次元が増加するため、理論的複雑性解析と整合的に、方策合成時間は指数関数的に増加した。
• 障害物数の増加にかかわらず、チェックする計画数（すなわちSMTコール数）は120未満に保たれ、ゴール制約付き信念空間が探索空間の大幅な削減に非常に効果的であることを裏付けた。
• 関連する信念軌道にのみ焦点を当てることで、ナーブな全探索に比べて、大規模なPOMDPにおける合成が可能になった。
• ブール型の安全および到達性制約を明示的に扱うことで、特定のシナリオにおいて報酬ベースの定式化に比べ、より優れた安全性および到達性の保証が得られることを確認した。