[論文レビュー] Sampling-based Approximations with Quantitative Performance for the Probabilistic Reach-Avoid Problem over General Markov Processes

Sofie Haesaert, Robert Babuška+1 more|arXiv (Cornell University)|Sep 1, 2014

Formal Methods in Verification参考文献 25被引用数 3

ひとこと要約

本稿では、制御入力を伴う連続状態マルコフ過程における最適制御則の計算を目的とした、サンプリングに基づくFitted Value Iteration (FVI)アルゴリズムを提案する。確率的到達回避仕様を対象とし、近似の確率的誤差バウンダリーを事前に計算可能にすることで、安全を要する応用分野における厳密な性能評価を可能にする。

ABSTRACT

This article deals with stochastic processes endowed with the Markov (memoryless) property and evolving over general (uncountable) state spaces. The models further depend on a non-deterministic quantity in the form of a control input, which can be selected to affect the probabilistic dynamics. We address the computation of maximal reach-avoid specifications, together with the synthesis of the corresponding optimal controllers. The reach-avoid specification deals with assessing the likelihood that any finite-horizon trajectory of the model enters a given goal set, while avoiding a given set of undesired states. This article newly provides an approximate computational scheme for the reach-avoid specification based on the Fitted Value Iteration algorithm, which hinges on random sample extractions, and gives a-priori computable formal probabilistic bounds on the error made by the approximation algorithm: as such, the output of the numerical scheme is quantitatively assessed and thus meaningful for safety-critical applications. Furthermore, we provide tighter probabilistic error bounds that are sample-based. The overall computational scheme is put in relationship with alternative approximation algorithms in the literature, and finally its performance is practically assessed over a benchmark case study.

研究の動機と目的

• 一般の連続状態マルコフ過程に制御入力を伴う確率的到達回避指定に対する最適制御則を合成する課題に取り組む。
• 既存の近似スキームが形式的な誤差バウンダリーを欠いているという限界を克服し、FVI近似における計算可能な確率的誤差バウンダリーを提供する。
• 計算された方策および価値関数の正確さを定量化することで、安全を要するシステムにおける制御則合成の実用的導入を可能にする。
• サンプルベースの回帰を用いて、ハイブリッドダイナミクスを有する非可算状態空間への動的計画法の適用範囲を拡張する。
• 先行研究の漸近的収束保証を上回る、よりタイトなサンプルベース誤差バウンダリーを導出する。

提案手法

• 連続状態空間における到達回避問題の価値関数近似に、ランダムサンプルを用いたFitted Value Iteration (FVI)を適用する。
• 各反復で、正確な動的計画法ステップの代わりに、カーネルベース回帰（具体的にはMATLABのClassificationTree.fit）を用いて価値関数をフィッティングする。
• 測度論的解析と集中不等式を用いて、FVI近似における事前確率的誤差バウンダリーを導出する。
• ホールドアウトサンプルを用いて、動的計画法演算子における1ステップ誤差およびバイアスのサンプルベース推定値を導入する。
• 定理12を用いて、スケーリング係数Bを介して累積近似誤差を時間ホライズンにわたって後退的に伝播させる。
• FVIフレームワークを活用して、形式的な性能保証を伴う近最適方策μ̂*および価値関数Ŵ*を計算する。

実験結果

リサーチクエスチョン

• RQ1 サンプリングに基づくFVIアルゴリズムは、連続状態マルコフ過程における到達回避確率の近似誤差について、形式的かつ事前確率的バウンダリーを提供できるか？
• RQ2 FVI近似の誤差は時間経過とともにどのように伝播するか？また、計算可能な指標を用いてこれをバウンディングできるか？
• RQ3 サンプルサイズおよびサンプリング分布は、到達回避問題におけるFVI近似の正確さにどのような影響を及えるか？
• RQ4 先行研究の漸近的収束結果を上回る、よりタイトなサンプルベース誤差推定値を導出可能か？
• RQ5 実際のベンチマークケーススタディにおいて、FVIベースの制御則は正確な動的計画法と比較してどのように性能を発揮するか？

主な発見

• FVIアルゴリズムは、すべての反復において1ステップ誤差推定値が3×10⁻³から5×10⁻³の間で推移し、初期反復で誤差が著しく減少する傾向が明確に観察された。
• 累積近似誤差は時間ホライズンに伴い指数関数的に増大し、計算されたスケーリング係数B = 3.07から強い誤差伝播が示された。
• 1−δΔ=0.9のためのサンプルベース精度推定値Δは、初期反復では10⁻²未満で推移したが、ホライズンの終盤にかけて顕著に増加した。
• ベンチマークケーススタディにおいて、FVIにより導出された方策μ̂*は論理的な振る舞いを示した：熱損失の高い部屋ではヒーターを長時間稼働させる傾向が、物理的直感と整合的であった。
• FVIベースの価値関数Ŵ*は、ゴール集合Kに近い領域で到達回避構造を正確に捉えており、Kから遠く離れた平坦領域では性能が劣化した。
• 提案手法は、先行手法が漸近的収束保証しか提供しないのに対し、形式的かつ事前確率的誤差バウンダリーを提供する点で差別化されている。