[논문 리뷰] Approximate Verification of Partially Observable Discrete Time Stochastic Hybrid Systems.

Kendra Lesser, Meeko Oishi|arXiv (Cornell University)|2014. 10. 29.

Fault Detection and Control Systems인용 수 1

한 줄 요약

이 논문은 노이즈가 있는 관측 조건 하에서 부분적으로 관측 가능한 이산시간 스토케스틱 하이브리드 시스템에서 안전성 검증을 위한 두 가지 근사 방법을 제안한다. 정보 상태는 유한 상태 마르코프 결정 과정 또는 라디얼 기저 함수를 통한 가우시안 혼합으로 모델링되어, 추가 가우시안 노이즈 하에서 오차 한계를 갖는 점 기반 값 반복을 통해 타당성 확률을 하한 근사한다.

ABSTRACT

Assuring safety in discrete time stochastic hybrid systems is particularly difficult when only partial observations are available. We first review a formulation of the probabilistic viability (i.e. safety) problem under noisy hybrid observations as a dynamic program. Two methods for approximately solving the dynamic program are presented. The first method approximates the hybrid system as an equivalent finite state Markov decision process, so that the information state is a probability mass function. The second approach approximates an indicator function over the safe region using radial basis functions, to represent the information state as a Gaussian mixture. In both cases, we discretize the hybrid observation process and generate a sampled set of information states, then use point-based value iteration to under-approximate the viability probability. We obtain error bounds and convergence results in both cases, assuming additive Gaussian noise in the continuous state dynamics and observations. We compare the performance of the finite state and Gaussian mixture approaches on a simple numerical example. I.

연구 동기 및 목표

• 부분적이고 노이즈가 있는 관측만 가능할 때 이산시간 스토케스틱 하이브리드 시스템에서 안전성 검증의 과제를 해결하기 위해.
• 부분 관측 하에서 확률적 타당성 문제의 계산 가능성이 있는 근사치를 개발하기 위해.
• 제안된 근사 방법에 대해 오차 한계와 수렴 보장을 제공하기 위해.
• 수치 예제에서 유한 상태 MDP와 가우시안 혼합 기반 정보 상태 표현 간의 성능를 비교하기 위해.

제안 방법

• 노이즈가 있는 하이브리드 관측 하에서 동적 프로그래밍으로 확률적 타당성 문제를 수립한다.
• 하이브리드 시스템을 유한 상태 마르코프 결정 과정으로 근사하고, 정보 상태를 확률 질량 함수로 표현한다.
• 라디얼 기저 함수를 사용하여 안전 영역의 지시 함수를 근사하고, 정보 상태를 가우시안 혼합으로 표현한다.
• 하이브리드 관측 과정을 이산화하고, 두 방법 모두에 대해 정보 상태의 샘플 집합을 생성한다.
• 두 접근 방식 모두에서 점 기반 값 반복을 적용하여 타당성 확률을 하한 근사한다.
• 연속 상태 역학과 관측에서 추가 가우시안 노이즈가 존재하는 가정 하에 오차 한계와 수렴 결과를 도출한다.

실험 결과

연구 질문

• RQ1 부분 관측 가능한 스토케스틱 하이브리드 시스템에서 확률적 타당성 문제를 효율적으로 어떻게 근사할 수 있는가?
• RQ2 정보 상태 표현으로 유한 상태 MDP와 가우시안 혼합을 사용할 때의 상호 간의 성능 상충 관계는 무엇인가?
• RQ3 추가 가우시안 노이즈 조건 하에서 제안된 근사 방법에 대해 엄밀한 오차 한계를 유도할 수 있는가?
• RQ4 유한 상태와 가우시안 혼합 접근 방식은 정확도와 계산 성능 측면에서 어떻게 비교되는가?

주요 결과

• 유한 상태 MDP 방법은 이산 상태 위의 확률 질량 함수로 정보 상태를 표현함으로써 계산 가능성이 있는 근사를 제공한다.
• 가우시안 혼합 방법은 라디얼 기저 함수를 사용하여 안전 영역 지시 함수를 근사함으로써 가우시안 혼합의 조합을 통한 연속 상태 표현을 가능하게 한다.
• 두 방법 모두 샘플된 정보 상태에 대해 점 기반 값 반복을 적용하여 타당성 확률을 하한 근사한다.
• 오차 한계는 두 접근 방식 모두에 대해 도출되었으며, 추가 가우시안 노이즈 가정 하에서 수렴이 입증되었다.
• 수치 예제는 두 방법 간에 계산 효율성과 근사 정확도 사이의 성능 상충 관계를 나타낸다.