[論文レビュー] Computational methods for stochastic control with metric interval temporal logic specifications

Jie Fu, Ufuk Topcu|arXiv (Cornell University)|Mar 24, 2015

Formal Methods in Verification参考文献 5被引用数 4

ひとこと要約

本稿では、連続時間確率的システムを有限状態のマルコフ決定過程（MDP）に離散化することにより、度解析的時相論理（MITL）仕様を満たす確率的最適制御の計算手法を提案する。マルコフ連鎖近似を用いて、点的意味論におけるMITL式の満たされる確率を最大化する制御方策を合成し、離散化を細かくすることで密度時間意味論における最適方策への収束を実現する。

ABSTRACT

This paper studies an optimal control problem for continuous-time stochastic systems subject to reachability objectives specified in a subclass of metric interval temporal logic specifications, a temporal logic with real-time constraints. We propose a probabilistic method for synthesizing an optimal control policy that maximizes the probability of satisfying a specification based on a discrete approximation of the underlying stochastic system. First, we show that the original problem can be formulated as a stochastic optimal control problem in a state space augmented with finite memory and states of some clock variables. Second, we present a numerical method for computing an optimal policy with which the given specification is satisfied with the maximal probability in point-based semantics in the discrete approximation of the underlying system. We show that the policy obtained in the discrete approximation converges to the optimal one for satisfying the specification in the continuous or dense-time semantics as the discretization becomes finer in both state and time. Finally, we illustrate our approach with a robotic motion planning example.

研究の動機と目的

• 連続時間確率的システムにリアルタイムの時相論理制約を課した場合に、スケーラブルで確率的な制御合成手法が不足しているという問題に取り組む。
• 定性的な満たし方ではなく、MITL仕様を満たす確率を最大化することを目的とする。
• 時相論理に基づく制御における離散近似手法と連続時間意味論のギャップを埋める。
• 不確実性下でのタイミング制約を伴うロボット運動計画に最適制御合成を可能にする。
• 状態と時間の離散化が細かくなるにつれて、離散近似法の収束保証を提供する。

提案手法

• システムは、状態と制御に依存する拡散項とドリフト項を有する確率的微分方程式（SDE）としてモデル化される。
• 連続時間SDEを有限状態のマルコフ決定過程（MDP）に離散化するために、マルコフ連鎖近似法が適用される。
• MITL仕様は有限状態の時刻付きオートマトンに符号化され、その後MDPと積をとることで拡張MDPが構成される。
• 価値反復を用いて、点的意味論におけるMITL式の満たされる確率を最大化する最適方策が計算される。
• 空間的および時間的離散化ステップ（h と δ）が 0 に近づくにつれて、離散最適方策が密度時間意味論における真の最適方策に収束することが保証される。
• 数値計算を可能にするために入力空間は有限集合 U^ε で離散化され、ケーススタディでは ε = 0.2 が使用された。

実験結果

リサーチクエスチョン

• RQ1 連続時間確率的システムの離散近似を用いて、MITL仕様を満たす確率を最大化する制御方策を合成できるか？
• RQ2 離散化が細かくなるにつれて、離散MDPで計算された最適方策は、元の連続時間システムにおける最適方策に収束するか？
• RQ3 リアルタイム制約を伴う時相論理仕様を、確率的制御フレームワークに符号化・統合する方法は何か？
• RQ4 提案手法の計算スケーラビリティは、高次元または複雑なシステムに対しどのように評価できるか？
• RQ5 本手法は、有界時間のMTLおよび信号時相論理（STL）式へ拡張可能か？

主な発見

• 例における初期状態 (0.5, 0.5, 0) に対して、離散MDPで計算された最適方策は、MITL式 φ の満たされる確率が 0.54 に達し、シミュレートされた20本の経路のうち11本が仕様を満たした。
• 価値反復アルゴリズムは50反復で収束し、許容誤差0.01で、標準デスクトップ上で1反復あたり約6分を要した。
• 例における積MDPは、到達不能な状態を除去した後、58,809状態を有した。積MDPの計算には18分を要した。
• 空間ステップ h と時間ステップ δ を小さくするにつれて、離散最適方策が密度時間最適方策に収束することが示された。
• h = (0.2, 0.2, π/4)^T および δ < 0.1 のより細かい離散化では、積MDPが608,303状態に達するため、スケーラビリティの制限が顕在化した。
• 著者らは、暗黙の近似や並列／分散アルゴリズムが、スケーラビリティ問題の緩和に向けた有望な今後の方向性であると特定した。