[논문 리뷰] Statistical Verification of Autonomous Systems using Surrogate Models and Conformal Inference

Chuchu Fan, Xin Qin외 3명|arXiv (Cornell University)|2020. 04. 01.

Formal Methods in Verification참고 문헌 42인용 수 4

한 줄 요약

이 논문은 신호 시간 논리(STL) 성질 이행에 대한 확률적 보장을 제공하기 위해 대체 모델을 사용하여 사이버-물리 시스템(CPS)의 통계적 검증을 위한 콫포멀 추론 기반 방법을 제안한다. 모델 시뮬레이션을 활용해 대체 모델을 훈련하고 콕포멀 예측을 적용함으로써, 신뢰도 값에 대한 신뢰구간을 도출하고 사용자가 지정한 신뢰수준으로 매개변수 공간 내 안전/비안전 영역을 식별할 수 있으며, 이는 확장 가능한, 분포에 의존하지 않는 안전 중심 시스템의 검증을 가능하게 한다.

ABSTRACT

In this paper, we propose conformal inference based approach for statistical verification of CPS models. Cyber-physical systems (CPS) such as autonomous vehicles, avionic systems, and medical devices operate in highly uncertain environments. This uncertainty is typically modeled using a finite number of parameters or input signals. Given a system specification in Signal Temporal Logic (STL), we would like to verify that for all (infinite) values of the model parameters/input signals, the system satisfies its specification. Unfortunately, this problem is undecidable in general. {\em Statistical model checking} (SMC) offers a solution by providing guarantees on the correctness of CPS models by statistically reasoning on model simulations. We propose a new approach for statistical verification of CPS models for user-provided distribution on the model parameters. Our technique uses model simulations to learn {\em surrogate models}, and uses {\em conformal inference} to provide probabilistic guarantees on the satisfaction of a given STL property. Additionally, we can provide prediction intervals containing the quantitative satisfaction values of the given STL property for any user-specified confidence level. We also propose a refinement procedure based on Gaussian Process (GP)-based surrogate models for obtaining fine-grained probabilistic guarantees over sub-regions in the parameter space. This in turn enables the CPS designer to choose assured validity domains in the parameter space for safety-critical applications. Finally, we demonstrate the efficacy of our technique on several CPS models.

연구 동기 및 목표

• 무한한 매개변수 조합과 입력 신호 조합으로 인해 기존 검증 방법이 결정 불가능해지는 불확실성 하에서 안전 중심 CPS의 검증 문제를 해결하기 위해.
• 특정 모델 구조나 분포를 가정하지 않고도 사용자가 정의한 매개변수 분포 전역에서 STL 성질 이행에 대한 확률적 보장을 제공하기 위해.
• 가우스 프로세스를 활용한 대체 모델의 정밀화를 통해 매개변수 공간 내 안전 및 비안전 영역을 식별할 수 있도록 하기 위해.
• 검증된 매개변수 하위 영역 기반 조건 계약을 생성하여 안전 보증 사례 및 감시 제어를 지원하기 위해.
• 기존 검증 방법의 확장성 한계를 극복하기 위해 시뮬레이션 데이터에 기반한 샘플 독립적 비모수적 콕포멀 예측을 사용하기 위해.

제안 방법

• 사용자가 제공한 분포에서 매개변수를 몬테카를로 샘플링하여 시뮬레이션을 통해 모델 궤적을 생성한다.
• 각 샘플된 매개변수에 대해 주어진 STL 공식에 대한 해당 궤적의 신뢰도 값을 계산한다.
• 매개변수-신뢰도 쌍을 기반으로 대체 모델(Gaussian Process 등)을 훈련하여 매개변수 공간 전역에서의 신뢰도 값을 예측한다.
• 대체 모델의 예측에 대해 콕포멀 추론를 적용하여 사용자가 지정한 신뢰수준에서 경계 커버리지 보장을 갖는 예측 구간을 생성한다.
• 가우스 프로세스 회귀 기반의 정밀화 절차를 통해 관심 있는 매개변수 하위 영역에서 더 좁은 확률적 구간을 확보한다.
• 이 프레임워크는 불리안 및 정량적 STL 검증을 모두 지원하며, 신뢰도 값에 대한 신뢰구간과 이행 확률의 하한 및 상한을 제공한다.

실험 결과

연구 질문

• RQ1 사용자가 지정한 연속적인 매개변수 분포 전역에서 주어진 STL 성질 이행에 대한 확률적 보장을 제공할 수 있는가?
• RQ2 제한된 시뮬레이션 데이터가 있는 상황에서도 사용자가 지정한 신뢰수준을 유지하는 STL 성질의 신뢰도 값에 대한 예측 구간을 생성할 수 있는가?
• RQ3 시스템이 특정 사양을 고도로 만족하거나 위반할 가능성이 있는 매개변수 공간의 하위 영역을 식별할 수 있는가?
• RQ4 특정한 하위 영역에서 확률적 보장의 정밀도를 향상시키기 위해 대체 모델을 어떻게 정밀화할 수 있는가? 이는 커버리지 손실 없이 가능할까?
• RQ5 이 방법은 내부 모델 구조나 특정 분포를 가정하지 않더라도 복잡한 비선형 CPS 모델에 적용 가능한가?

주요 결과

• Simglucose 모델의 경우 매개변수 영역 Θ₂M에서 비안전 영역 비율을 54.44%로 추정하여 기준값 52.47%에 매우 가까운 결과를 도출했다.
• Simglucose 모델에서 G[0,24] BG ≤ 155 사양은 동일한 영역에서 52.47%의 비안전 영역을 가지며, G[0,24] BG ≤ 170 사양은 0%의 비안전 영역을 가짐을 정확히 식별했다.
• 더 큰 매개변수 공간(예: Θ₅M)에서도 G[0,24] BG ≤ 170 사양에 대해 6.6%의 비안전 영역을 추정하여 고차원 매개변수 공간으로의 확장 가능성을 입증했다.
• 가우스 프로세스 기반 정밀화를 통해 세밀한 안전 및 비안전 영역을 식별할 수 있었으며, 감시 제어를 위한 조건 계약 수립에 기여했다.
• 콕포멀 예측 프레임워크는 대체 모델의 품질에 관계없이 유효한 커버리지 보장을 유지했으며, 낮은 모델 적합도에 대해서는 더 넓은 구간이 보상 기능을 수행했다.
• 이 방법은 신뢰수준 면에서 샘플 독립적이다. 콕포멀 추론은 제한된 데이터에서도 커버리지 보장을 보장하므로, 기존 SMC 방법이 고정된 샘플 크기 계산이 필요한 것과는 달리 유연성이 있다.