[논문 리뷰] Interpolation and SAT-Based Model Checking Revisited: Adoption to Software Verification

Dirk Beyer, Nian-Ze Lee외 1명|arXiv (Cornell University)|2022. 08. 09.

Software Reliability and Analysis Research인용 수 10

한 줄 요약

이 논문은 이전에 하드웨어 검증에 국한되어 있던 McMillan의 2003년 보간 기반 모델 체킹(IMC) 알고리즘을 재검토하여, 대규모 블록 인코딩과 SMT 해결을 활용해 소프트웨어 검증에 성공적으로 적응시켰다. 공개된 가장 큰 C 검증 벤치마크에서 평가한 결과, 다른 보간 기반 접근 방식보다 뛰어난 성능을 보이며, 다른 접근 방식이 실패한 7개의 고유한 작업을 해결하여, 소프트웨어 검증에서의 경쟁력과 상호보완성을 입증하였다.

ABSTRACT

The article "Interpolation and SAT-Based Model Checking" (McMillan, 2003) describes a formal-verification algorithm, which was originally devised to verify safety properties of finite-state transition systems. It derives interpolants from unsatisfiable BMC queries and collects them to construct an overapproximation of the set of reachable states. Although 20 years old, the algorithm is still state-of-the-art in hardware model checking. Unlike other formal-verification algorithms, such as k-induction or PDR, which have been extended to handle infinite-state systems and investigated for program analysis, McMillan's interpolation-based model-checking algorithm from 2003 has not been used to verify programs so far. Our contribution is to close this significant, two decades old gap in knowledge by adopting the algorithm to software verification. We implemented it in the verification framework CPAchecker and evaluated the implementation against other state-of-the-art software-verification techniques on the largest publicly available benchmark suite of C safety-verification tasks. The evaluation demonstrates that McMillan's interpolation-based model-checking algorithm from 2003 is competitive among other algorithms in terms of both the number of solved verification tasks and the run-time efficiency. Our results are important for the area of software verification, because researchers and developers now have one more approach to choose from.

연구 동기 및 목표

• McMillan의 2003년 보간 기반 모델 체킹(IMC) 알고리즘을 유한 상태 하드웨어 시스템을 위한 것으로 설계된 바에 비해 20년 간의 공백을 메우기 위해 소프트웨어 검증에 적응시키는 것.
• 원래 유한 상태 하드웨어 시스템을 위한 목적으로 설계된 고전적 IMC 알고리즘이 무한 상태 소프트웨어 시스템에도 여전히 타당하고 효과적인지 평가하는 것.
• 고도로 발전한 SMT 해결 기술을 통해 IMC를 실제 C 프로그램에 대해 확장 가능한 방식으로 적용할 수 있음을 보여주는 것.
• 대규모 벤치마크 세트에서 최신 소프트웨어 검증 기법들과의 성능 및 효과성 비교를 수행하는 것.
• 향후 연구를 위한 기초 자료로 활용 가능한 새로운 오픈소스 구현을 CPACHECKER에 제공하는 것.

제안 방법

• C 프로그램으로부터 심벌릭 프로그램 카운터 없이도 전이 관계를 추출할 수 있도록 대규모 블록 인코딩을 사용하여 McMillan의 원래 IMC 알고리즘을 채택함.
• 불만족 가능한 BMC 질의로부터 보간을 생성하여 도달 가능한 상태를 과소거하며, 이전 보간을 재사용하여 일반화를 향상시킴.
• 다른 최신 기법들과의 공정한 비교를 위해 알고리즘을 CPACHECKER 프레임워크에 통합함.
• 복잡한 공식을 포함한 전개된 프로그램 경로를 처리하기 위해 SMT 솔버를 활용하여 현대 솔버 성능을 기반으로 확장성 확보.
• SV-COMP '22 C 안전성 검증 벤치마크 세트를 대상으로 체계적인 벤치마킹을 수행하여 효과성과 효율성 평가.
• 재현 가능성을 확보하기 위해 정확한 CPU 시간 및 메모리 사용량 측정을 위해 BENCHEXEC를 활용함.

실험 결과

연구 질문

• RQ1 McMillan의 2003년 보간 기반 모델 체킹(IMC) 알고리즘이 원래 유한 상태 시스템을 대상으로 설계되었음에도 불구하고 소프트웨어 검증에 효과적으로 적응시킬 수 있는가?
• RQ2 IMC의 성능은 다른 최신 SMT 기반 소프트웨어 검증 기법들과 비교해 해결한 작업 수와 실행 시간 효율성 측면에서 어떻게 평가되는가?
• RQ3 초기 상태와 이전 보간에서 유도한 보간을 모두 활용함으로써 IMPACT와 같은 경로 기반 접근 방식보다 더 높은 품질의 추상화와 더 나은 일반화를 달성하는가?
• RQ4 자원 제약으로 인해 다른 보간 기반 접근 방식이 실패하는 프로그램들이 있는데, IMC는 이러한 프로그램들을 검증할 수 있는가?
• RQ5 IMC를 CPACHECKER에 통합함으로써 향후 보간 기반 소프트웨어 검증 연구를 위한 안정적이고 재사용 가능하며 오픈소스 기반의 기초 자료를 제공할 수 있는가?

주요 결과

• IMC는 SV-COMP '22 벤치마크 세트에서 다른 최신 기법들과 유사한 수준의 효과성과 효율성으로 경쟁적인 성능을 보였다.
• IMC는 다른 모든 접근 방식이 15분 CPU 시간 또는 15GB 메모리 제약 내에서 실패한 7개의 C 검증 작업을 유일하게 해결하여, 도전적인 프로그램을 처리할 수 있는 고유한 능력을 입증하였다.
• IMC는 IMPACT보다 보간 작업에 더 적은 자원을 소비하여, 더 높은 품질의 보간을 생성하고 프로그램 경로 간의 일반화를 더 잘 달성함을 시사함.
• 대규모 블록 인코딩을 활용함으로써 명시적인 심벌릭 프로그램 카운터 없이도 효과적인 전이 관계 추출이 가능해졌으며, 이는 정확성을 유지하면서도 인코딩을 단순화함.
• CPACHECKER에 구현된 시스템은 안정적이고 재사용 가능하며, 소프트웨어, 입력, 결과 전부가 공개되어 재현성과 향후 연구에 기여함.
• 결과적으로 McMillan의 2003년 알고리즘이 현대 소프트웨어 검증 분야에서 여전히 관련성 있고 효과적이며, 기존 기법들과의 유용한 보완 자료로 기능함을 보여줌.