[논문 리뷰] Sampling-based Approximations with Quantitative Performance for the Probabilistic Reach-Avoid Problem over General Markov Processes

Sofie Haesaert, Robert Babuška외 1명|arXiv (Cornell University)|2014. 09. 01.

Formal Methods in Verification참고 문헌 25인용 수 3

한 줄 요약

이 논문은 제어 입력이 있는 연속 상태 마르코프 과정에서 최적의 제어기를 계산하기 위해 샘플 기반 Fitted Value Iteration (FVI) 알고리즘을 제안한다. 이는 확률적 도달-피하기 사양을 대상으로 하며, 근사의 확률적 오차 한계를 사전에 계산 가능하게 하여 안전성에 민감한 응용 분야에서의 성능을 철저히 정량화할 수 있도록 한다.

ABSTRACT

This article deals with stochastic processes endowed with the Markov (memoryless) property and evolving over general (uncountable) state spaces. The models further depend on a non-deterministic quantity in the form of a control input, which can be selected to affect the probabilistic dynamics. We address the computation of maximal reach-avoid specifications, together with the synthesis of the corresponding optimal controllers. The reach-avoid specification deals with assessing the likelihood that any finite-horizon trajectory of the model enters a given goal set, while avoiding a given set of undesired states. This article newly provides an approximate computational scheme for the reach-avoid specification based on the Fitted Value Iteration algorithm, which hinges on random sample extractions, and gives a-priori computable formal probabilistic bounds on the error made by the approximation algorithm: as such, the output of the numerical scheme is quantitatively assessed and thus meaningful for safety-critical applications. Furthermore, we provide tighter probabilistic error bounds that are sample-based. The overall computational scheme is put in relationship with alternative approximation algorithms in the literature, and finally its performance is practically assessed over a benchmark case study.

연구 동기 및 목표

• 일반적인 연속 상태 마르코프 과정에 대한 제어 입력이 있는 확률적 도달-피하기 사양을 위한 최적의 제어기를 합성하는 데 도전한다.
• 기존의 근사 기법이 공식적인 오차 한계를 갖추지 못하는 한계를 극복하기 위해 FVI 근사에 대한 계산 가능한 확률적 오차 한계를 제공한다.
• 계산된 정책과 가치 함수의 정확도를 정량화하여 안전성에 민감한 시스템에서의 제어기 합성의 실용적 구현을 가능하게 한다.
• 샘플 기반 회귀를 사용하여 하이브리드 동역학을 가진 가산 가능하지 않은 상태 공간에 대해 동적 프로그래밍의 적용 범위를 확장한다.
• 기존 방법의 渐近 수렴 보장보다 향상된 샘플 기반 오차 한계를 제공하는 더 날카운 오차 추정치를 도출한다.

제안 방법

• 랜덤 샘플을 사용하여 연속 상태 공간에서 도달-피하기 문제의 가치 함수를 근사하기 위해 Fitted Value Iteration (FVI)를 적용한다.
• 정확한 동적 프로그래밍 단계를 대체하기 위해 커널 기반 회귀(특히 MATLAB의 ClassificationTree.fit)를 사용하여 각 반복에서 가치 함수를 피팅한다.
• 측도 이론적 분석과 농도 부등식을 사용하여 FVI 근사에 대한 사전 확률적 오차 한계를 유도한다.
• 홀드아웃 샘플을 통해 단일 단계 오차와 동적 프로그래밍 연산자의 편향에 대한 샘플 기반 오차 추정치를 도입한다.
• 정리 12를 사용하여 시간 수평선을 거슬러 내려가 오차 한계를 전파하며, 이는 스케일링 인자 B를 통해 누적 근사 오차를 정량화한다.
• FVI 프레임워크를 활용하여 공식적인 성능 보장을 갖는 근사 최적 정책 μ̂*와 가치 함수 Ŵ*를 계산한다.

실험 결과

연구 질문

• RQ1 샘플 기반 FVI 알고리즘이 연속 상태 마르코프 과정에서 도달-피하기 확률을 근사할 때 공식적이고 사전에 계산 가능한 확률적 오차 한계를 제공할 수 있는가?
• RQ2 FVI 근사의 오차는 시간에 따라 어떻게 전파되며, 이는 계산 가능한 척도로 제한될 수 있는가?
• RQ3 샘플 크기와 샘플 분포는 도달-피하기 문제에서 FVI 근사의 정확도에 어떤 영향을 미치는가?
• RQ4 기존 문헌의 渐近 수렴 결과를 초월하는 더 날카운 샘플 기반 오차 추정치를 도출할 수 있는가?
• RQ5 실제 벤치마크 사례 연구에서 FVI 기반 제어기는 정확한 동적 프로그래밍과 비교해 어떻게 성능을 발휘하는가?

주요 결과

• 모든 반복에서 FVI 알고리즘은 단일 단계 오차 추정치를 3×10⁻³에서 5×10⁻³ 사이로 유지하며, 초기 반복에서 오차 감소 경향이 뚜렷하다.
• 누적 근사 오차는 시간 수평선에 따라 지수적으로 증가하며, 계산된 스케일링 인자 B = 3.07로 인해 강한 오차 전파가 발생함을 나타낸다.
• 1−δΔ=0.9일 때의 샘플 기반 정확도 추정치 Δ는 초기 반복에서는 10⁻² 이하로 유지되지만, 수평선의 끝부분으로 갈수록 크게 증가한다.
• 벤치마크 사례 연구에서 FVI를 통해 유도된 정책 μ̂*는 논리적인 행동을 보이며, 열손실이 더 큰 방에서는 난방기를 더 오래 켤 것을 보여주어 물리적 직관과 일치한다.
• FVI 기반 가치 함수 Ŵ*는 목표 집합 K 근처 영역에서 도달-피하기 구조를 정확히 포착하지만, K에서 멀리 떨어진 평평한 영역에서는 성능이 떨어진다.
• 제안된 방법은 이전 기법이 오직 渐近 수렴 보장을 제공하는 데 반해, 공식적이고 사전에 계산 가능한 확률적 오차 한계를 제공하여 이를 구분한다.