[논문 리뷰] Some approximations in Model Checking and Testing

Marie-Claude Gaudel, Richard Lassaigne외 2명|arXiv (Cornell University)|2013. 04. 16.

Formal Methods in Verification참고 문헌 96인용 수 3

한 줄 요약

이 논문은 모델 체크링과 테스팅에서의 근사 기법을 통합하는 프레임워크를 제시하며, 논리학, 통계학, 복잡도 이론을 융합하여 시스템 성질의 효율적이고 확률적으로 보장된 검증을 가능하게 한다. 특히 LTL 공식의 EPF 조각에 대해 다항시간 또는 상수시간 검증을 보장하는 경계가 있는 근사 기법들인 유한 경로 모델 체크링, 확률적 추상화, 랜덤화된 근사 스킴 등을 도입한다.

ABSTRACT

Model checking and testing are two areas with a similar goal: to verify that a system satisfies a property. They start with different hypothesis on the systems and develop many techniques with different notions of approximation, when an exact verification may be computationally too hard. We present some notions of approximation with their logic and statistics backgrounds, which yield several techniques for model checking and testing: Bounded Model Checking, Approximate Model Checking, Approximate Black-Box Checking, Approximate Model-based Testing and Approximate Probabilistic Model Checking. All these methods guarantee some quality and efficiency of the verification.

연구 동기 및 목표

• 정확한 모델 체크링과 테스팅의 계산 비효율성 문제를 해결하기 위해 체계적인 근사 기법을 도입하기 위해.
• 논리학과 통계학에 기반한 동일한 이론적 기반 아래에서 모델 체크링 및 테스팅 분야의 다양한 근사 기법들을 통합하기 위해.
• 특히 확률적 및 시간 논리 성질에 대해 근사의 품질과 효율성에 대한 형식적 보장을 제공하기 위해.
• 검증 작업에서 계산 효율성과 근사 정확성 사이의 상호 교환 관계를 탐색하기 위해.
• 랜덤화 및 추상화 기반 근사 기법을 통해 대규모 또는 무한 상태 시스템의 확장 가능한 검증을 가능하게 하기 위해.

제안 방법

• 경로 탐색을 유한한 길이로 제한하는 유한 모델 체크링(BMC)을 사용하여 문제를 다항 복잡도를 가진 SAT 해결 문제로 환원한다.
• 몬테카를로 방법과 랜덤화된 근사 스킴(RAS)을 적용하여 LTL 공식 만족 확률을 다항 오차 한계로 추정한다.
• 일반화된 제로-원 추정자 정리(GZOT)를 활용하여 (ε,δ)-근사의 기대값을 높은 확률로 보장하는 최적 근사 알고리즘(OAA)을 유도한다.
• 성질 테스팅과 통계적 학습 기법을 활용하여 모델-성질 동치성과 입력 커버리지의 근사치를 도출하며, 이는 시스템 크기와 무관한 복잡도를 가진다.
• 정확한 계산이 불가능한 경우 확률적 추상화와 에디트 거리 메트릭을 사용하여 모델 체크링 결과를 근사한다.
• 학습 기반 모델 재구성과 모델 체크링을 조합하여 알려지지 않은 시스템에 대한 근사 백박스 체크링을 가능하게 한다.

실험 결과

연구 질문

• RQ1 모델 체크링 및 테스팅에서의 근사 기법들이 논리학과 통계학에 체계적으로 기반을 두어 효율성과 정확성을 동시에 보장할 수 있는가?
• RQ2 확률적 시스템의 LTL 성질을 검증할 때, 랜덤화된 근사 스킴의 이론적 한계와 보장을 무엇인가?
• RQ3 모델 추상화와 학습 기법은 백박스 체크링 및 모델 기반 테스팅에서 시스템 행동을 어떻게 근사할 수 있는가?
• RQ4 시스템 성질의 근사에서 오차가 제한된 상태로 유지하면서 검증의 복잡도를 어떻게 감소시킬 수 있는가?
• RQ5 유한 체크링, 확률적 추상화, 통계적 학습과 같은 다수의 근사 기법을 조합하여 확장성과 정확성을 향상시킬 수 있는가?

주요 결과

• 최적 근사 알고리즘(OAA)은 EPF 조각에 속한 LTL 공식의 만족 확률에 대해 (ε,δ)-근사를 달성하며, 시행 횟수는 Γ/μ 비례한다. 여기서 Γ는 ε 및 δ에 따라 결정된다.
• 만족 확률이 작을 경우(μ → 0), 평균 시행 횟수는 지수적으로 증가할 수 있어, RAS 접근법이 이러한 경우에 한계를 가짐을 시사한다.
• OAA 알고리즘의 고정점 반복은 전체 LTL 확률 문제에 대한 랜덤화된 근사 스킴을 제공하며, (ε,δ)-근사를 수렴함을 보장한다.
• 몬테카를로 방법을 활용한 근사 모델 체크링은 모델 크기와 다항식 시간 복잡도를 가지며, 오차 범위는 샘플링된 경로 수에 따라 달라진다.
• 성질 테스팅 기반 접근법은 근사 모델 체크링에서 시스템 크기와 무관한 복잡도를 달성하며, 오직 근사 매개변수 ε에만 의존한다.
• 학습 기반 기법을 활용한 근사 백박스 체크링은 N개의 샘플 후에 재구성된 모델이 진짜 IUT로부터 ε 이내에 있을 것임을 보장한다. 여기서 N은 오직 ε 및 δ에 따라 결정되며, 시스템 크기와는 무관하다.