[논문 리뷰] Conformal Prediction for STL Runtime Verification

Lars Lindemann, Qin Xin외 2명|arXiv (Cornell University)|2022. 11. 03.

Software Reliability and Analysis Research인용 수 4

한 줄 요약

이 논문은 신호 시간 논리(STL)를 사용하여 확률적 사이버-물리 시스템의 예측 실행 시점 검증을 위한 두 가지 콫리포멀 예측 기반 알고리즘을 제안한다. 궤적 예측기(예: RNN, LSTM)와 콕리포멀 예측을 조합함으로써, 사용자가 정의한 신뢰수준으로 STL 만족도 측정치에 대한 유효한 예측 영역을 생성하며, 분포 가정 없이 또는 사양 변경에 따른 재학습 없이도 공식적 보장을 제공한다.

ABSTRACT

We are interested in predicting failures of cyber-physical systems during their operation. Particularly, we consider stochastic systems and signal temporal logic specifications, and we want to calculate the probability that the current system trajectory violates the specification. The paper presents two predictive runtime verification algorithms that predict future system states from the current observed system trajectory. As these predictions may not be accurate, we construct prediction regions that quantify prediction uncertainty by using conformal prediction, a statistical tool for uncertainty quantification. Our first algorithm directly constructs a prediction region for the satisfaction measure of the specification so that we can predict specification violations with a desired confidence. The second algorithm constructs prediction regions for future system states first, and uses these to obtain a prediction region for the satisfaction measure. To the best of our knowledge, these are the first formal guarantees for a predictive runtime verification algorithm that applies to widely used trajectory predictors such as RNNs and LSTMs, while being computationally simple and making no assumptions on the underlying distribution. We present numerical experiments of an F-16 aircraft and a self-driving car.

연구 동기 및 목표

• 실시간 제약 조건 하에서 예측 실행 시점 검증에 대한 공식적 검증 보장이 부족한 문제를 해결한다.
• 실행 시점에 높은 신뢰도로 사양 위반을 조기에 탐지할 수 있도록 한다.
• 기본 시스템 분포나 예측 모델에 대한 가정 없이도 예측 기반 검증에 대한 공식적 확률적 보장을 제공한다.
• 사양 변경 시 재학습이 필요 없이 복잡한 예측기(예: RNN, LSTM)를 안전 비상 제어 응용 분야에 활용할 수 있도록 지원한다.
• 시스템 동역학의 노이즈에 강건하고 계산이 단순하여, 제어 신호에 추가된 변동성 등에도 잘 견디도록 한다.

제안 방법

• 관측된 시스템 프리픽스에서 향후 시스템 상태를 예측하기 위해 궤적 예측기(예: RNN, LSTM)를 사용한다.
• 콕리포멀 예측을 적용하여 향후 시스템 상태에 대한 예측 영역을 구성하며, i.i.d. 가정 하에 유한 표본 유효성을 확보한다.
• 직접 방법의 경우, 예측된 궤적에 대해 STL 사양의 만족도 측정치를 계산하고, 비일관성 점수를 사용하여 진짜 만족도 측정치에 대한 예측 영역을 구성한다.
• 간접 방법의 경우, 먼저 향후 상태에 대한 예측 영역을 생성한 후, 이러한 상태 영역을 바탕으로 진짜 만족도 측정치의 하한을 유도한다.
• 교정 데이터를 사용하여 비일관성 점수를 계산하고, 예측 영역 임계값 $ C $ 를 결정함으로써, 진짜 만족도 측정치가 사용자가 정의한 신뢰수준 이내에 $ C $ 에 포함되도록 보장한다.
• STL의 강건한 의미론을 활용하여 시스템이 사양을 얼마나 신뢰성 있게 만족하거나 위반하는지를 정량화함으로써 정밀한 장애 조기 예측을 가능하게 한다.

실험 결과

연구 질문

• RQ1 궤적 예측기를 사용한 예측 실행 시점 검증이 사양 위반 탐지에 대해 공식적 확률적 보장을 제공할 수 있는가?
• RQ2 콕리포멀 예측을 STL에 통합하여 향후 시스템 행동에 대한 유효한 불확실성 정량화를 어떻게 확보할 수 있는가?
• RQ3 복잡한 예측기(예: LSTM)를 사용할 경우, 분포 가정 없이도 제안된 방법이 얼마나 유효성을 유지하는가?
• RQ4 직접 방법과 간접 방법 간의 예측 영역 크기 및 검증 정확도 측면에서 성능는 어떻게 비교되는가?
• RQ5 스토케스틱 제어 입력으로 인한 노이즈 또는 변동성이 있는 시스템 동역학을 처리할 수 있는가?

주요 결과

• IL 제어기와 사양 $\phi_1$ 에 대해, 100개의 테스트 궤적 중 99개가 $\rho^{\phi_1}(\hat{x},\tau_0) > C \Rightarrow (x,\tau_0) \models \phi_1$ 를 만족하여 정리 1을 확인한다.
• CBF 제어기와 $\phi_1$ 에 대해, 100개의 테스트 궤적 전부가 $\rho^{\phi_1}(\hat{x},\tau_0) > C \Rightarrow (x,\tau_0) \models \phi_1$ 를 만족하여 강력한 검증 신뢰성을 입증한다.
• CBF 제어기의 경우 예측 영역 $C$ 가 더 작았는데, 이는 궤적의 변동성이 낮아서 LSTMs의 더 정확한 예측이 가능했기 때문일 것이다.
• $\phi_2$ 에 대해, IL 제어기 하에서 100개 중 99개, CBF 제어기 하에서 100개 중 98개의 궤적이 함의 $\rho^{\phi_2}(\hat{x},\tau_0) > C \Rightarrow (x,\tau_0) \models \phi_2$ 를 만족하여 다양한 사양에 대한 방법의 유효성을 검증한다.
• 식 (3)은 IL 제어기 하에서 $\phi_1$ 에 대해 100개 중 95개, CBF 제어기 하에서 100개 중 95개의 궤적이 만족하였고, $\phi_2$ 에 대해서는 각각 100개 중 98개와 100개 중 92개로, 예측 영역의 校정이 확인되었다.
• 프레임워크는 제어 신호에 가우시안 노이즈가 존재하더라도 강건했으며, 잘 학습되지 않은 LSTMs는 더 큰 예측 영역을 생성하여 예측기의 품질에 민감함을 나타냈다.