[논문 리뷰] Parameter Searching and Partition with Probabilistic Coverage Guarantees.

Chuchu Fan, Xin Qin외 1명|arXiv (Cornell University)|2020. 04. 01.

Formal Methods in Verification인용 수 7

한 줄 요약

이 논문은 학습 기반 사이버-물리 시스템의 확률적 검증 프레임워크를 제안하며, 무한한 파라미터 공간을 탐색하고 신호 시간 논리(STL) 만족도 값을 변동 가능한 커버리지 보장을 갖는 콫포멀 리그레션을 사용하여 예측한다. 이는 파라미터 공간의 분할을 가능하게 하고, 다양한 파라미터 하에서의 시스템 행동을 정량화하여 분포 가정 없이도 확률적 보장을 보장한다.

ABSTRACT

The use of machine learning components has posed significant challenges for the verification of cyber-physical systems due to its complexity, nonlinearity, and large space of parameters. In this work, we propose a novel probabilistic verification framework for learning-enabled CPS which can search over the entire (infinite) space of parameters, to figure out the ones that lead to satisfaction or violation of specification that are captured by Signal Temporal Logic (STL) formulas. Our technique is based on conformal regression, a technique for constructing prediction intervals with marginal coverage guarantees using finite samples, without making assumptions on the distribution and regression model. Our verification framework, using conformal regression, can predict the quantitative satisfaction values of the system's trajectories over different sets of the parameters and use those values to quantify how well/bad the system with the parameters can satisfy/violate the given STL property. We use three case studies of learning-enabled CPS applications to demonstrate that our technique can be successfully applied to partition the parameter space and provide the needed level of assurance.

연구 동기 및 목표

• 복잡하고 비선형적이며 고차원적인 파라미터 공간을 가진 학습 기반 사이버-물리 시스템을 검증하는 데 도전하는 데 목적을 두며.
• STL 사양을 만족하거나 위반하는 구성 요소를 결정하기 위한 체계적인 파라미터 공간 탐색을 가능하게 하며.
• 모델이나 분포 형태에 대한 가정 없이 STL 만족도 값에 대한 예측 간격의 확률적 커버리지 보장을 제공하며.
• 파라미터 분할과 정량적 평가를 통해 안전이 중요한 CPS 애플리케이션의 검증과 보장을 지원한다.

제안 방법

• STL 만족도 값에 대한 예측 간격을 변동 가능한 커버리지 보장을 갖도록 생성하기 위해 콕포멀 리그레션을 활용한다.
• 유한한 훈련 샘플에 콕포멀 리그레션을 적용하여 무한한 파라미터 집합에서의 시스템 행동을 예측한다.
• 형식적으로 바람직하거나 금지된 시스템 행동을 지정하기 위해 신호 시간 논리(STL)를 사용한다.
• 예측된 만족도 값을 활용하여 파라미터 공간을 만족 영역, 위반 영역, 또는 불확실성 영역으로 분할한다.
• 사례 연구에 프레임워크를 통합하여 실제 CPS 응용 분야에서의 확장성과 신뢰성을 검증한다.
• 비모수적 가정을 유지하여 기초가 되는 회귀 모델이나 데이터 분포에 대한 제약을 피한다.

실험 결과

연구 질문

• RQ1 학습 기반 CPS의 무한한 파라미터 공간 전역에서 콕포멀 리그레션은 STL 만족도 값을 효과적으로 예측할 수 있는가?
• RQ2 분포 가정 없이 시스템 행동을 예측할 때 확률적 커버리지 보장을 유지할 수 있는가?
• RQ3 이 프레임워크는 파라미터 공간을 만족, 위반, 또는 불확실성 영역으로 얼마나 잘 분할할 수 있는가?
• RQ4 최소한의 모델링 가정으로 안전이 중요한 CPS 응용 분야에서 신뢰할 수 있는 보장을 제공할 수 있는가?
• RQ5 다양한 학습 기반 CPS 사례 연구에서 이 프레임워크는 어떻게 확장성과 성능을 발휘하는가?

주요 결과

• 예측된 STL 값들을 활용하여 파라미터 공간이 만족, 위반, 불확실성 영역으로 성공적으로 분할된다.
• 콕포멀 리그레션은 예측 간격에 대해 변동 가능한 커버리지 보장을 제공하여 분포 가정 없이도 통계적 신뢰성을 확보한다.
• 유한한 훈련 샘플을 활용함으로써 이 방법은 무한한 파라미터 공간에서의 검증을 가능하게 한다.
• 세 개의 사례 연구는 이 프레임워크의 실제 학습 기반 CPS 응용 분야에서의 적용 가능성과 강건성을 입증한다.
• 다양한 파라미터 구성에서의 시스템 행동에 대해 신뢰 수준을 할당함으로써 정량적 보장을 지원한다.
• 이 프레임워크는 회귀 모델이나 데이터 분포에 대한 가정 없이도 신뢰할 수 있는 검증을 달성한다.