[논문 리뷰] Bounded Model Checking and Feature Omission Diversity

Mohammad Amin Alipour, Alex Groce|arXiv (Cornell University)|2016. 09. 20.

Formal Methods in Verification참고 문헌 9인용 수 4

한 줄 요약

이 논문은 스웜 범위 모델 체킹(swarms BMC)을 제안한다. 스웜 BMC는 랜덤으로 기능을 비활성화하는 병렬적이고 기능 생략 기반 기법으로, 범위 모델 체킹에서 반례 탐색을 가속화한다. 제약 조건의 복잡성을 줄이고 다양한 탐색 경로를 가능하게 함으로써, 단일 코어에서도 표준 BMC보다 반례를 더 빨리 발견할 수 있으며, 다수의 코어를 사용할 경우 병렬적으로 다수의 결함을 발견할 수 있다.

ABSTRACT

In this paper we introduce a novel way to speed up the discovery of counterexamples in bounded model checking, based on parallel runs over versions of a system in which features have been randomly disabled. As shown in previous work, adding constraints to a bounded model checking problem can reduce the size of the verification problem and dramatically decrease the time required to find counterexample. Adapting a technique developed in software testing to this problem provides a simple way to produce useful partial verification problems, with a resulting decrease in average time until a counterexample is produced. If no counterexample is found, partial verification results can also be useful in practice.

연구 동기 및 목표

• 범위 모델 체킹에서 상태 공간 폭발 문제를 해결하기 위해 기능 생략 다양성을 도입함으로써.
• 병렬 SAT 솔버가 필요 없이도 범위 모델 체킹에서 병렬성을 가능하게 하기 위해.
• 기호 모델 체킹에서 반례 탐색의 효율성과 커버리지 향상하기 위해.
• 부분 검증을 기능 생략을 통해 수행할 경우, 반례가 발견되지 않더라도 유용한 결과를 도출할 수 있는지 탐색하기 위해.
• 스웜 BMC의 실용성과 성능 향상을 실제 버그가 알려진 시스템에서 평가하기 위해.

제안 방법

• 스웜 테스팅 기법을 범위 모델 체킹에 적용하여, 시스템 모델에서 기능을 랜덤으로 비활성화함으로써 더 작고 제약이 강한 검증 문제를 생성한다.
• 트레이스 기반 접근 방식을 사용하여 범위 모델 체킹을 수행함으로써, 기능 생략을 논리적 제약 조건으로 공식적으로 표현하고 조작한다.
• 서로 다른 기능 조합을 생략한 병행되는 다수의 독립적 BMC 인스턴스를 실행하여 탐색 공간 탐색의 다양성을 높인다.
• 정적 슬라이싱(static slicing)을 적용하여 검증 문제의 크기를 줄이고 스웜 BMC의 성능을 향상시킨다.
• 다수의 스웜 런에서의 결과를 집계하여 반례를 더 빨리 발견하거나 전체 검증을 더 안전한 트레이스로 제한한다.
• 일부 기능(예: close, pop)을 비활성화하면 상태 공간 탐색이 단순해져 숨겨진 버그를 드러내는 데 기여할 수 있음을 활용한다.

실험 결과

연구 질문

• RQ1 스웜 테스팅에서 영감을 얻은 기능 생략 다양성은 범위 모델 체킹에서 반례 탐색을 가속화할 수 있는가?
• RQ2 기능 생략이 적용된 BMC 인스턴스를 병행 실행할 경우, 표준 BMC보다 첫 번째 반례를 발견하는 데 걸리는 시간이 단축되는가?
• RQ3 스웜 BMC에서 도출된 부분 검증 결과는 전체 시스템 검증을 안내하거나 제한하는 데 사용될 수 있는가?
• RQ4 정적 슬라이싱은 스웜 BMC의 성능과 확장성에 어떤 영향을 미치는가?
• RQ5 스웜 BMC는 표준 BMC가 하나의 반례를 발견하기 전에 다수의 서로 다른 결함을 발견할 수 있는가?

주요 결과

• 배열 큐 벤치마크에서 스웜 BMC는 깊이 5000로 설정했을 때 표준 BMC보다 반례 탐색 속도가 최대 2.5배 빠르며, 일부 설정에서는 반례 탐색 시간을 40% 이상 감소시켰다.
• 스택 리스트 벤치마크에서 기능 생략을 적용한 스웜 BMC는 표준 BMC보다 null 포인터 해제 버그를 훨씬 더 빨리 발견했으며, 특히 깊이가 높을수록 그 성능 향상이 두드러졌다.
• 슬라이싱을 활성화한 경우, 스웜 BMC는 비슬라이싱 버전 대비 최대 25%까지 검증 시간을 단축시켰으며, 제약 조건 최소화의 효과를 입증했다.
• 모든 설정에서 스웜 BMC는 표준 BMC보다 반례를 더 빨리 발견했고, 병행 실행 시 표준 BMC가 어떤 반례도 발견하기 전에 다수의 서로 다른 결함을 발견했다.
• 반례가 발견되지 않은 경우에도 스웜 BMC의 결과는 전체 검증을 제한하는 데 활용될 수 있었으며, 하이브리드 검증 전략의 잠재력을 보여주었다.
• 이 방법은 기호 모델 체킹에 기능 생략 다양성을 성공적으로 적용했으며, SAT 인스턴스의 복잡성 감소와 탐색 다양성 향상에 효과가 있음을 입증했다.