[논문 리뷰] Symbolic control of stochastic systems via approximately bisimilar finite abstractions

Majid Zamani, Peyman Mohajerin Esfahani외 3명|arXiv (Cornell University)|2013. 02. 15.

Formal Methods in Verification참고 문헌 33인용 수 1

한 줄 요약

이 논문은 제어된 확률적 미분 방정식으로 모델링된 확률적 시스템을 대상으로, 모멘트의 관점에서 ε-근사적으로 이sov레이션(ε-approximately bisimilar)인 유한 상태 추상화를 사용하는 기호 제어 프레임워크를 제안한다. 이는 어떤 확률적 증분 입력-상태 안정성 성질을 만족하는 시스템이라면 임의의 ε > 0에 대해 유한 추상화를 갖는다는 것을 입증하며, 이는 복잡한 선형 시간 논리 사양을 위한 정확한 설계 기반의 제어기 합성 기법을 가능하게 한다.

ABSTRACT

Symbolic approaches to the control design over complex systems employ the construction of finite-state models that are related to the original control systems, then use techniques from finite-state synthesis to compute controllers satisfying specifications given in a temporal logic, and finally translate the synthesized schemes back as controllers for the concrete complex systems. Such approaches have been successfully developed and implemented for the synthesis of controllers over non-probabilistic control systems. In this paper, we extend the technique to probabilistic control systems modeled by controlled stochastic differential equations. We show that for every stochastic control system satisfying a probabilistic variant of incremental input-to-state stability, and for every given precision $\varepsilon>0$, a finite-state transition system can be constructed, which is $\varepsilon$-approximately bisimilar (in the sense of moments) to the original stochastic control system. Moreover, we provide results relating stochastic control systems to their corresponding finite-state transition systems in terms of probabilistic bisimulation relations known in the literature. We demonstrate the effectiveness of the construction by synthesizing controllers for stochastic control systems over rich specifications expressed in linear temporal logic. The discussed technique enables a new, automated, correct-by-construction controller synthesis approach for stochastic control systems, which are common mathematical models employed in many safety critical systems subject to structured uncertainty and are thus relevant for cyber-physical applications.

연구 동기 및 목표

• 연속 시간 확률적 제어 시스템에 대한 유한 이sov레이션 추상화의 부재를 해결하기 위해.
• 이전에 비확률적 시스템에 국한되어 있던 기호 제어 기법을 구조적 불확실성을 갖는 확률적 시스템으로 확장하기 위해.
• 복잡한 시간 논리 사양에 대해 자동화되고 정확한 설계 기반의 제어기 합성을 가능하게 하기 위해.
• 확률적 이sov레이션 개념을 사용하여 확률적 제어 시스템과 그 유한 상태 추상화 간의 형식적 정량적 관계를 수립하기 위해.
• 선형 시간 변화 시스템(LTV)에 대한 LTL 사양을 갖는 제어기 합성을 통해 제안된 방법의 타당성과 효율성을 입증하기 위해.

제안 방법

• 원래의 확률적 제어 시스템과 모멘트의 관점에서 ε-근사적으로 이sov레이션인 유한 상태 전이 시스템(기호 모델)을 구성하기 위해.
• 시스템의 확률적 증분 안정성을 기술하기 위해 δ-ISS-Mq 리아프노프 함수를 사용하여 추상화의 존재를 보장하기 위해.
• 연속된 상태 공간과 제어 입력 공간을 이산화하기 위해 샘플링 시간 τ와 상태/입력 양자화를 적용하여 유한 추상화 Sq(Σ)를 형성하기 위해.
• 정리 5.1의 결과를 활용하여 ε-근사 이sov레이션 조건을 만족하도록 양자화 파라미터 η를 결정하기 위해.
• 기호 모델에 대해 주어진 LTL 사양을 만족하는 제어기를 계산하기 위해 유한 상태 반응형 합성 알고리즘을 적용하기 위해.
• 기호 모델에서 합성된 제어기를 원래의 확률적 시스템으로 다시 정교화하며, 사양의 만족에 대해 확률적 보장을 제공하기 위해.

실험 결과

연구 질문

• RQ1 연속 시간 확률적 제어 시스템에 대해, 시간 논리 사양을 위한 제어기 정확성과 보존하는 유한 상태 추상화를 구성할 수 있는가?
• RQ2 확률적 시스템에 대해 ε-근사적으로 이sov레이션인 유한 추상화의 존재를 보장하는 안정성 조건은 무엇인가?
• RQ3 확률적 환경에서 원래의 확률적 시스템과 그 유한 추상화 간의 관계를 어떻게 형식적으로 정량화할 수 있는가?
• RQ4 기호 모델에서 추상화된 제어기를 실제 시스템으로 정교화할 때, LTL 사양의 만족에 대해 어떤 확률적 보장이 존재하는가?
• RQ5 제안된 방법은 제로가 아닌 제어 입력과 비자기적 동역학을 갖는 시스템에 적용될 수 있는가?

주요 결과

• 모든 ε > 0에 대해, 확률적 증분 입력-상태 안정성 성질을 만족하는 시스템이라면 원래의 확률적 제어 시스템과 ε-근사적으로 이sov레이션인 유한 상태 전이 시스템을 구성할 수 있다.
• ε = 1 및 τ = 0.01일 때, 기호 모델의 상태 공간 기수는 1,002,001이며 입력 공간은 11개 요소를 갖는다. 추상화 계산은 148.092초가 소요되었다.
• LTL 사양 32W ∧ 2Z(지역 W로 진입하고 그곳에 머무르며 Z 상태를 유지하는 것)에 대한 제어기 합성은 3.88초가 소요되었으며, W와 Z로의 경험적 평균 거리는 ε = 1보다 크게 낮게 나타났다.
• 기호 모델에서 ϕ를 만족하는 제어기가 원래 시스템에서 1-확대된 공식 ϕ1을 무한 시간 영역에서 만족할 확률이 최소 79% 이상이다.
• 주어진 시스템 제약 조건 하에, 유한 시간 영역 {0, 0.01, ..., 1} 초에서 70% 이상의 확률로 정교화된 제어기가 1-확대 사양을 만족한다.
• 이 방법은 풍부한 시간 논리 사양을 갖는 확률적 시스템에 대해 정확한 설계 기반의 제어기 합성을 가능하게 하며, 광범위한 시뮬레이션을 통해 검증되었다.