[논문 리뷰] Symbolic Control for Stochastic Systems via Parity Games.

Rupak Majumdar, Kaushik Mallik외 2명|arXiv (Cornell University)|2021. 01. 04.

Formal Methods in Verification참고 문헌 37인용 수 4

한 줄 요약

이 논문은 확률적 비선형 시스템에 대한 기호적 제어 방법을 제안하여 $ω$-정규 명시(specifications)를 만족할 최대 확률의 하한을 계산한다. 전이 확률의 지지(set)만을 사용하는 유한 상태 추상화를 통해 문제를 $2\frac{1}{2}$-플레이어 파리티 게임으로 환원함으로써, 정성적 승리 영역의 하한 근사치를 계산하고, 이를 도달 가능성 합성과 융합하여 만족 확률에 대한 증명 가능하게 올바른 하한을 도출한다. 이는 교란된 두빙 차량 모델에서 검증되었다.

ABSTRACT

We consider the problem of computing the maximal probability of satisfying an $\omega$-regular specification for stochastic, continuous-state, nonlinear systems evolving in discrete time. The problem reduces, after automata-theoretic constructions, to finding the maximal probability of satisfying a parity condition on a (possibly hybrid) state space. While characterizing the exact satisfaction probability is open, we show that a lower bound on this probability can be obtained by (I) computing an under-approximation of the qualitative winning region, i.e., states from which the parity condition can be enforced almost surely, and (II) computing the maximal probability of reaching this qualitative winning region. The heart of our approach is a technique to symbolically compute the under-approximation of the qualitative winning region in step (I) via a finite-state abstraction of the original system as a $2\frac{1}{2}$-player parity game. Our abstraction procedure uses only the support of the probabilistic evolution; it does not use precise numerical transition probabilities. We prove that the winning set in the abstract $2\frac{1}{2}$-player game induces an under-approximation of the qualitative winning region in the original synthesis problem, along with a policy to solve it. By combining these contributions with (a) existing symbolic fixpoint algorithms to solve $2\frac{1}{2}$-player games and (b) existing techniques for reachability policy synthesis in stochastic nonlinear systems, we get an abstraction-based symbolic algorithm for finding a lower bound on the maximal satisfaction probability. We have implemented our approach and evaluated it on the nonlinear model of the perturbed Dubins vehicle.

연구 동기 및 목표

• 확률적, 연속 상태, 비선형 시스템에서 $ω$-정규 명시를 만족할 최대 확률의 하한을 계산하기.
• 정확한 만족 확률을 계산하는 것이 비현실적이기 때문에, 이러한 시스템에 대한 제어 정책을 합성하는 데 도전 과제를 해결하기.
• 확률 전이의 지지만을 사용하여 원래 시스템의 정성적 승리 영역을 유지하는 유한 상태 추상화를 개발하기.
• 정확한 전이 확률을 요구하지 않고도 $2\frac{1}{2}$-플레이어 파리티 게임을 통해 기호적 제어 정책 계산을 가능하게 하기.
• 기호 고정점 알고리즘과 도달 가능성 합성 기법을 융합하여, 확률적 비선형 시스템에 대해 실용적이고 확장 가능한 알고리즘을 도출하기.

제안 방법

• 자동화 이론적 구성 기반으로 하이브리드 상태 공간에서의 파리티 조건으로 제어 합성 문제를 환원하기.
• 확률 전이의 지지만을 기반으로 원래 시스템의 유한 상태 추상화를 $2\frac{1}{2}$-플레이어 파리티 게임으로 구성하기.
• 추상화된 게임에서 정성적 승리 영역의 하한 근사치를 기호적으로 계산하여, 원래 시스템의 승리 영역에 대한 하한을 유도하기.
• 기호 고정점 알고리즘을 활용하여 추상화된 $2\frac{1}{2}$-플레이어 게임을 해결하고 제어 정책을 추출하기.
• 하한 근사 승리 영역과 도달 가능성 정책 합성 기법을 융합하여, 이를 도달할 수 있는 최대 확률을 계산하기.
• 결과로 도출된 정책을 사용하여 원래 명시의 최대 만족 확률에 대한 하한을 유도하기.

실험 결과

연구 질문

• RQ1 정확한 전이 확률에 의존하지 않고도, 확률적 비선형 시스템에 대해 $ω$-정규 명시의 최대 만족 확률에 대한 하한을 계산할 수 있는가?
• RQ2 연속 상태 확률적 시스템의 유한 상태 추상화는 어떻게 구성할 수 있으며, 이를 통해 파리티 조건에 대한 정성적 승리 영역을 유지할 수 있는가?
• RQ3 기반으로 삼는 $2\frac{1}{2}$-플레이어 파리티 게임 기반 기호 방법은 비선형 시스템의 확률적 동역학에 대해 얼마나 효과적으로 제어 정책을 합성할 수 있는가?
• RQ4 추상화된 게임의 승리 집합과 원래 시스템의 정성적 승리 영역 사이의 관계는 어떠한가?
• RQ5 제안된 추상화 기반 접근법은 실질적인 비선형 제어 모델에 대해 효과적으로 구현되고 평가될 수 있는가?

주요 결과

• 제안된 추상화는 원래 확률적 시스템의 정성적 승리 영역에 대해 증명 가능하게 올바른 하한 근사치를 유도한다.
• 하한 근사 승리 영역과 도달 가능성 확률 분석을 융합함으로써, 최대 만족 확률에 대한 하한을 계산한다.
• 추상화는 정확한 수치적 확률을 요구하지 않고 전이 확률의 지지만을 기반으로 한다.
• 추상화된 $2\frac{1}{2}$-플레이어 게임을 해결하기 위해 사용된 기호 고정점 알고리즘은 추상화에 대해 확장 가능하고 효과적이다.
• 이 방법은 비선형 두빙 차량 모델에 대해 성공적으로 구현되고 평가되었으며, 실용적 적용 가능성을 입증했다.
• 결과로 도출된 정책은 하한 근사 승리 영역에서부터 거의 확실하게 파리티 조건을 만족시키며, 전체 만족 확률에 대한 정량적 하한을 보장한다.