[논문 리뷰] A Barrier Function Approach to Finite-Time Stochastic System Verification and Control

Cesar Santoyo, Maxence Dutreix외 1명|arXiv (Cornell University)|2019. 09. 09.

Formal Methods in Verification인용 수 5

한 줄 요약

이 논문은 확률적 시스템의 유한시간 안전성 검증 및 제어를 위한 새로운 장벽 함수 접근법을 제안한다. 다항 장벽 함수의 기대값에 대한 상태에 따라 변하는 상한을 사용하여 실패 확률에 대한 더 낫게 수축된 상한을 계산한다. 이 방법은 효율적인 계산을 위해 제곱합 최적화(sum-of-squares optimization)를 활용하며, 목표 안전성 확률을 보장하는 다항 상태 피드백 제어기를 합성할 수 있게 한다. 이는 이전의 c-martingale 및 초마팅게일 접근법에 비해 핵심 케이스에서 더 우수한 성능을 보인다.

ABSTRACT

This paper studies the problem of enforcing safety of a stochastic dynamical system over a finite-time horizon. We use stochastic control barrier functions as a means to quantify the probability that a system exits a given safe region of the state space in finite time. A barrier certificate condition that bounds the expected value of the barrier function over the time horizon is recast as a sum-of-squares optimization problem for efficient numerical computation. Unlike prior works, the proposed certificate condition includes a state-dependent upper bound on the evolution of the expectation. We present formulations for both continuous-time and discrete-time systems. Moreover, for systems for which the drift dynamics are affine-in-control, we propose a method for synthesizing polynomial state feedback controllers that achieve a specified probability of safety. Several case studies are presented which benchmark and illustrate the performance of our verification and control method in the continuous-time and discrete-time domains.

연구 동기 및 목표

• 기존 방법보다 더 낫게 수축된 실패 확률 상한을 제공하는, 확률적 동적 시스템을 위한 유한시간 안전성 검증 프레임워크를 개발하는 것.
• 유한시간 시간 영역을 고려한 확률적 시스템으로 제어 장벽 함수를 확장하여, 검증 및 제어기 합성 모두를 가능하게 하는 것.
• 특정 상태공간 영역에서 선형 장벽 함수로 제한함으로써 이산시간 확률적 제어 합성에서의 비볼록성 문제를 해결하는 것.
• 제곱합 최적화를 사용하여 연속시간 및 이산시간 시스템을 위한 통합된 수식을 제공하는 것.
• 연속시간 및 이산시간 확률적 시스템을 포함한 사례 연구를 통해 제안된 방법의 효과성을 입증하는 것.

제안 방법

• 논문은 유한 시간 영역 동안 비음수 다항 장벽 함수의 기대값을 상태에 따라 변하는 상한으로 제약하는 장벽 증명 조건을 도입한다.
• 기대값의 진화 제약 조건은 제곱합(SOS) 최적화 문제로 공식화되어, 준선형계획법을 통한 효율적인 수치 계산이 가능하다.
• 연속시간 시스템의 경우, 확률적 과정의 무한소 생성자(infinitesimal generator)를 사용하여 기대값 진화 조건을 유도한다.
• 이산시간 시스템의 경우, 한 단계 이후 장벽 함수의 기대값을 계산하며, 이를 상태에 따라 변하는 함수 이하로 제약한다.
• 시스템 동역학을 기대값 상한에 통합함으로써 이전의 초마팅게일 및 c-martingale 조건을 일반화하여, 실패 확률 추정의 정밀도를 향상시킨다.
• 선형 제어에 대해 애핀인 제어 시스템에 대해 제어기 합성 방법을 제안하며, 장벽 증명 조건을 만족하고 목표 실패 확률을 충족하는 다항 상태 피드백 제어기를 탐색한다.

실험 결과

연구 질문

• RQ1 장벽 함수의 기대 진화에 대한 상태에 따라 변하는 상한이, 기존의 초마팅게일 또는 c-martingale 조건보다 더 낫게 수축된 실패 확률 상한을 제공할 수 있는가?
• RQ2 제곱합 최적화를 어떻게 활용하여 연속시간 및 이산시간 유한시간 확률적 시스템의 안전성 검증 및 제어기 합성에 응용할 수 있는가?
• RQ3 기대값 상한의 정밀도 및 계산 효율성 측면에서 다항 장벽 함수를 지수 함수보다 사용할 경우 성능 향상은 어떠한가?
• RQ4 이산시간 제어 합성에서의 비볼록성 문제는 어떻게 완화할 수 있으며, 동시에 안전성 보장을 유지할 수 있는가?
• RQ5 고노이즈 상황에서 기존 방법에 비해 제안된 방법이 실패 확률 상한을 얼마나 향상시키는가?

주요 결과

• 연속시간 이중 적분기 케이스에서, 제안된 방법은 목표로 하는 실패 확률 0.10을 정확히 달성하는 반면, c-martingale 방법은 더 느슨한 상한 0.15를 제공한다.
• σ=0.1 인 이산시간 인구 모델에서, 이 방법은 실패 확률 상한 0.069를 계산하며, 몬테카를로 추정치 0.006과 매우 유사하여 정밀도가 뛰어나다는 것을 보여준다.
• 동일한 모델에서 σ=0.3 인 경우, 상한은 0.574이며 몬테카를로로 산출된 진짜 실패 확률 0.118보다 높게 유지되지만, 여전히 근사적으로 유용한 정보를 제공한다.
• σ=1.5 인 이산시간 제어 합성에서, 이 방법은 실패 확률 상한 0.512를 달성하는 제어기를 성공적으로 합성하였으며, 제어 효율성에 대한 c-값 2.074와 조합하여 목표 P_goal=0.10 을 충족시킨다.
• 이산시간 시스템에서 1차 선형 장벽 함수의 사용은 특정 영역 내에서 볼록 최적화 유사한 접근을 가능하게 하여, 본질적으로 비볼록성에도 불구하고 효과적인 제어기 합성을 가능하게 한다.
• 제안된 방법은 특히 고노이즈 시스템에서 시스템 동역학을 기대값 제약 조건에 통합함으로써 c-martingale 조건에 비해 항상 더 낫게 수축된 실패 확률 상한을 제공한다.