[논문 리뷰] Data-driven Abstractions for Verification of Deterministic Systems

Rudi Coppola, Andrea Peruffo외 1명|arXiv (Cornell University)|2022. 11. 03.

Formal Methods in Verification인용 수 7

한 줄 요약

이 논문은 동역학이 알려지지 않은 결정론적 시스템에 대해 샘플링된 궤적을 이용하여 유한 상태 추상화를 구축하기 위한 데이터 기반 방법을 제안한다. 이 방법은 확률적 행동 포함성을 보장함으로써 무한 시간 보장 검증에 대해 유사적으로 정확한(PAC) 보장을 제공한다. 비볼록 시나리오 이론과 $\varepsilon$-완전한 행동 커버리지의 활용을 통해 사전 시스템 모델이 필요 없이 형식적 검증이 가능하다.

ABSTRACT

A common technique to verify complex logic specifications for dynamical systems is the construction of symbolic abstractions: simpler, finite-state models whose behaviour mimics the one of the systems of interest. Typically, abstractions are constructed exploiting an accurate knowledge of the underlying model: in real-life applications, this may be a costly assumption. By sampling random $\ell$-step trajectories of an unknown system, we build an abstraction based on the notion of $\ell$-completeness. We newly define the notion of probabilistic behavioural inclusion, and provide probably approximately correct (PAC) guarantees that this abstraction includes all behaviours of the concrete system, for finite and infinite time horizon, leveraging the scenario theory for non convex problems. Our method is then tested on several numerical benchmarks.

연구 동기 및 목표

• 기존의 모델 기반 추상화가 불가능한 동역학이 알려지지 않은 결정론적 시스템에서 무한 시간 성질을 검증하는 데 도전하는 것.
• 장기적 또는 무한 시간 범위로 일반화되지 않는 일단계 전이 기반 시나리오 방법의 한계를 극복하는 것.
• 시스템 모델이 없이도 데이터로부터 직접 유한 추상화를 구성하고, 동일한 분포에서 독립적으로 동일하게 분포된 초기 상태 샘플을 통해 높은 확률로 정확성을 확보하는 방법을 개발하는 것.
• 실제 시스템의 행동이 추상화 내에 포함됨을 보장하는 PAC 보장을 확립하여, 무한 시간 성질에 대해서도 적용 가능하게 하는 것.
• 명시적인 시스템 모델이 필요 없이 복잡한 논리 명세를 위한 형식적 검증 및 제어기 합성 기능을 제공하는 것.

제안 방법

• 알려진 분포에서 독립적으로 동일하게 분포된 초기 상태를 샘플링하여, $\overline{k}$는 시스템 행동의 전체 지원을 확보하는 데 소요되는 시간이 되는 $H = \overline{k} + \ell$ 길이의 $\varepsilon$-완전 궤적을 생성한다.
• 관측된 $\ell$-단계 시퀀스로부터 $\ell$-완전 자동기(S$\ell$-CA)를 구성하여 모든 가능한 $\ell$-길이 행동이 포괄되도록 보장한다.
• 확률적 행동 포함성을, 모든 실제 시스템 궤적이 추상화의 행동에 포함될 확률로 정의하며, 신뢰도 $1 - \beta$로 보장한다.
• 비볼록 시나리오 이론을 적용하여, 발견되지 않은 행동의 확률에 대한 PAC 경계를 유도한다. 이 때는 서로 다른 $\ell$-시퀀스의 수 $s_N^*$와 샘플 수 $N$을 사용한다.
• 시나리오 경계 $\epsilon(s_N^*, \beta, N)$를 사용하여 어떤 시스템 행동도 누락될 확률의 최대값을 정량화함으로써, 높은 신뢰도로 정확성을 확보한다.
• 이sov레인지 관계를 활용하여, 시스템이 그러한 관계를 만족할 경우 유한 시간 보장을 무한 시간 검증으로 확장한다.

실험 결과

연구 질문

• RQ1 시스템 모델이 없이도 샘플링된 궤적만으로도 동역학이 알려지지 않은 결정론적 시스템에 대해 유한 추상화를 구성할 수 있는가?
• RQ2 일단계 기반 시나리오 기반 보장을 어떻게 확장하여 결정론적 시스템의 무한 시간 행동 성질에 적용할 수 있는가?
• RQ3 높은 신뢰도로 행동 포함성에 대한 PAC 보장을 확보하기 위해 필요한 최소한의 궤적 수와 시퀀스 길이는 얼마인가?
• RQ4 특히 시스템의 지원이 알려지지 않은 상황에서, 유한한 데이터 세트로부터 모든 가능한 시스템 행동을 관측할 확률을 어떻게 정량화할 수 있는가?
• RQ5 어떤 조건에서 데이터 기반 추상화가 형식적 정확성 보장을 바탕으로 시스템의 무한 시간 행동을 시뮬레이션할 수 있는가?

주요 결과

• 이 방법은 시스템 행동이 추상화 내에 포함될 확률이 최소 $1 - \epsilon$ 이상이 되도록 보장함으로써, 무한 시간 검증에 대해 PAC 보장을 달성한다. 여기서 $\epsilon$는 시나리오 경계로부터 유도된다.
• 2차원 비선형 시스템을 대상으로 한 수치 벤치마크에서 시나리오 경계는 $\epsilon = 4.8 \cdot 10^{-3}$였고, 정확한 위반 확률은 약 $\approx 2.25 \cdot 10^{-44}$로 산출되어, 경계의 보수성과 신뢰성의 타당성을 확인하였다.
• 동일한 시스템에 대해 $\overline{k} = 7$로 결정되었으며, 이는 행동이 전체 지원을 확보하는 데 소요되는 시간이므로, 무한 시간 보장을 위한 충분한 궤적 길이 $H = \overline{k} + \ell = 9$임을 정당화한다.
• 경로 계획 문제에서 $N = 10^4$개의 궤적과 $\ell = 27$를 사용한 경우, 시나리오 경계는 $\epsilon = 4.06 \cdot 10^{-3}$였고, 이는 $1 - \beta = 1 - 10^{-12}$의 신뢰도 하에 시스템이 목표에 도달할 확률이 $\geq 1 - \epsilon$임을 보장한다.
• 경로 계획 사례에서 오직 $s_N^* = 3$개의 서로 다른 궤적만으로도 데이터 기반 S$\ell$-CA를 성공적으로 구성하여 데이터 효율성을 입증하였다.
• 이론적 분석을 통해 무한 시간 검증 문제는 알려지지 않은 유한 지지 확률질량함수의 표본에서 전체 지지를 관측할 확률를 경계하는 문제로 환원되며, 이는 시나리오 이론을 통해 해결됨을 확인하였다.