[論文レビュー] Stochastic Finite State Control of POMDPs with LTL Specifications

Mohamadreza Ahmadi, Rangoli Sharan+1 more|arXiv (Cornell University)|Jan 21, 2020

Advanced Control Systems Optimization参考文献 33被引用数 12

ひとこと要約

本稿では、線形時相論理（LTL）仕様を満たす確率的有限状態制御則（sFSC）の合成を、部分的に観測可能なマルコフ意思決定過程（POMDP）において、満たされる確率を最大化するように、確率的有界方策反復（BPI）アルゴリズムを提案する。ポisson方程式とMcCormick包絡線を用いた凸緩和により、制御則の複雑さの成長を制御しつつ、いつでも停止可能なスケーラブルな制御則合成が可能となる。

ABSTRACT

Partially observable Markov decision processes (POMDPs) provide a modeling framework for autonomous decision making under uncertainty and imperfect sensing, e.g. robot manipulation and self-driving cars. However, optimal control of POMDPs is notoriously intractable. This paper considers the quantitative problem of synthesizing sub-optimal stochastic finite state controllers (sFSCs) for POMDPs such that the probability of satisfying a set of high-level specifications in terms of linear temporal logic (LTL) formulae is maximized. We begin by casting the latter problem into an optimization and use relaxations based on the Poisson equation and McCormick envelopes. Then, we propose an stochastic bounded policy iteration algorithm, leading to a controlled growth in sFSC size and an any time algorithm, where the performance of the controller improves with successive iterations, but can be stopped by the user based on time or memory considerations. We illustrate the proposed method by a robot navigation case study.

研究の動機と目的

• 最適制御が計算的に困難であるため、LTL仕様下での部分的観測可能なPOMDPに対して、部分最適な確率的有限状態制御則（sFSC）を合成する課題に対処すること。
• ロボットナビゲーションや自律システムなどの部分的観測可能で不確実な環境において、複雑な高レベルのLTL仕様を満たす確率を最大化すること。
• 時間的またはメモリ制約に基づいたユーザー定義の停止条件を許容しつつ、反復的に制御則の性能を向上させる、スケーラブルでいつでも停止可能なアルゴリズムを開発すること。
• LTL下での最適POMDP制御の計算困難性を、凸緩和と有界方策反復を用いて克服し、制御則のサイズの成長を制御すること。
• 初期の実行可能制御則の生成とsFSCへの動的な状態追加により、保守的になりがちな制御則合成の緩和を図ること。

提案手法

• LTL仕様を決定的ラビンオートマトン（DRA）に変換し、システムと仕様の連合ダイナミクスをエンコードするためのプロダクト-POMDPを構築する。
• sFSC設計を、制御則の自由パラメータに関する最適化問題として定式化し、LTL満たし確率を最大化することを目的とする。
• プロダクト-POMDPにおける期待報酬を再定式化するためにポisson方程式を適用し、動的計画法の適用を可能にする。
• 最適化問題に生じる二項項を凸化するためにMcCormick包絡線を用い、非凸制約を凸緩和に変換する。
• 状態を特定の部分集合（G^ss）にのみ追加するように制御される、確率的有界方策反復（BPI）アルゴリズムを実装し、sFSCのサイズの成長を制御する。
• 報酬関数の修正とプロダクト・マルコフ連鎖における吸収状態を用いて、特定の状態（例：$Avoid_{\frak{r}}^{\nVarepsilon}$）の訪問を回避する制約を強制し、最適化中に正しさを保持する。

実験結果

リサーチクエスチョン

• RQ1 POMDPにおける部分最適な確率的有限状態制御則（sFSC）を、LTL仕様の満たされる確率を最大化するように、どのように合成できるか？
• RQ2 時間的またはメモリ制約に基づいたユーザー定義の停止条件を許容しつつ、性能を時間経過とともに向上させる、スケーラブルでいつでも停止可能なアルゴリズムを設計できるか？
• RQ3 制御則パラメータ化に起因する二項項に起因する非凸最適化問題に対処するための、どのような凸緩和技術が利用可能か？
• RQ4 有界方策反復をどのように変更すれば、sFSCサイズの成長を制御しつつ、LTL満たし確率を維持または向上できるか？
• RQ5 特に初期の実行可能制御則生成段階と状態追加段階において、保守的になりがちな制御則合成プロセスを緩和するための戦略は何か？

主な発見

• 提案された確率的有界方策反復アルゴリズムにより、sFSCサイズの成長が制御され、計算制約に応じていつでも停止可能であることが確認された。
• 図5に示すように、プロダクト-POMDPにおける目標集合 $Repeat_{0}^{\text{PM}^{\nVarepsilon}}$ の訪問頻度の期待値が単調に向上しており、LTL満たし確率の向上を示している。
• ポisson方程式とMcCormick包絡線の使用により、非凸最適化問題が効率的かつスケーラブルに解ける凸緩和に成功し、有界方策反復による解法が可能となった。
• 吸収状態と報酬ベースの制約を用いて、特定の状態（例：$Avoid_{\frak{r}}^{\nVarepsilon}$）が決して訪問されないことを強制することで、アルゴリズムは正しさを維持している。
• POMDPにおける有限記憶戦略の合成は通常EXPTIME完全であるが、本手法は、改善された制御則への収束を保証する実用的解決策を提供している。
• ロボットナビゲーションの事例研究により、sFSCに状態を追加するたびにLTL満たし確率が明確に向上することが実証され、実世界のシナリオにおける有効性が示された。