[논문 리뷰] Software Verification with PDR: Implementation and Empirical Evaluation of the State of the Art

Dirk Beyer, Matthias Dangl|arXiv (Cornell University)|2019. 08. 17.

Formal Methods in Verification참고 문헌 23인용 수 4

한 줄 요약

이 논문은 C 소프트웨어 검증을 위한 Property-Directed Reachability(PDR)의 잘 설계된 독립형 구현과 k-인duction에 기반한 새로운 보조 불변식 생성기를 제안한다. 이는 가장 큰 공개 벤치마크인 SV-COMP 2019 ReachSafety-Loops에서 평가되었으며, 제안된 PDR 접근법이 기존의 PDR 도구를 능가하고, 일부 증명이 어려운 프로그램에 대해서는 SV-COMP에서 가장 우수한 불변식 생성기보다도 더 효율적임을 보였다.

ABSTRACT

Property-directed reachability (PDR) is a SAT/SMT-based reachability algorithm that incrementally constructs inductive invariants. After it was successfully applied to hardware model checking, several adaptations to software model checking have been proposed. We contribute a replicable and thorough comparative evaluation of the state of the art: We (1) implemented a standalone PDR algorithm and, as improvement, a PDR-based auxiliary-invariant generator for k-induction, and (2) performed an experimental study on the largest publicly available benchmark set of C verification tasks, in which we explore the effectiveness and efficiency of software verification with PDR. The main contribution of our work is to establish a reproducible baseline for ongoing research in the area by providing a well-engineered reference implementation and an experimental evaluation of the existing techniques.

연구 동기 및 목표

• PDR이 하드웨어 검증에서 성공을 거둔 것과는 달리 소프트웨어 검증에서의 적용이 제한된 점을 메우기 위해.
• 소프트웨어를 위한 재현 가능한 잘 설계된 PDR 기반 참조 구현을 제공하기 위해.
• 실제 C 검증 작업의 광범위하고 다양한 집합에서 PDR 기반 기법의 효과성과 효율성을 경험적으로 평가하기 위해.
• 기존 도구 및 기법들과 제안된 PDR 적응 기법을 소프트웨어 검증 분야에서 비교하기 위해.
• PDR 기반 소프트웨어 검증 분야의 향후 연구를 위한 기준을 설정하기 위해.

제안 방법

• SMT 솔버를 사용하고 무한 상태 공간을 다룰 수 있도록 최적화된 소프트웨어 검증을 위한 독립형 PDR 알고리즘을 구현하였다.
• k-인덕션과 통합되어 유도 불변식 발견 능력을 향상시키는 PDR 유사 보조 불변식 생성기를 설계하고 구현하였다.
• 인도의 반례를 기반으로 한 클라우즈 학습 전략을 사용하여 악성 상태의 직전 상태를 일반화하여 유도 불변식을 도출하였다.
• 불변식 생성기를 k-인덕션 프레임워크에 통합하여 안전성 성질 증명 능력을 향상시켰다.
• BenchExec 프레임워크를 사용하여 자원 계측을 신뢰할 수 있도록 208개의 C 검증 작업(2019년 SV-COMP의 ReachSafety-Loops 카테고리)에서 실험을 수행하였다.
• CPAchecker-CTIGAR 및 Vvt-CTIGAR를 포함한 여러 도구들과의 성능 비교를 위해 정확도, 속도, 자원 사용량에 대한 상세 지표를 평가하였다.

실험 결과

연구 질문

• RQ1 실제 C 프로그램에 대해 독립형 PDR 구현이 소프트웨어 검증에서 얼마나 효과적인가?
• RQ2 PDR 기반 보조 불변식 생성기는 소프트웨어 검증에서 k-인덕션의 성능을 향상시킬 수 있는가?
• RQ3 Vvt 및 SeaHorn과 같은 기존의 PDR 기반 검증기들과 비교해 볼 때 제안된 PDR 구현의 정밀도와 효율성은 어떠한가?
• RQ4 어떤 종류의 프로그램이 다른 기법들과 비교해 PDR 기반 불변식 생성에서 가장 큰 이점을 얻는가?
• RQ5 산업용 강력한 검증 벤치마크에서 PDR은 최신 기술 수준의 불변식 생성기와 경쟁 가능한 대안이 될 수 있는가?

주요 결과

• 제안된 PDR 구현은 정확도와 효율성 면에서 기존의 Vvt PDR 도구를 모두 능가하여 총 208개 작업 중 144개를 해결한 반면, Vvt는 126개를 해결하였다.
• KI ⟲←−KIPDR에서의 PDR 기반 불변식 생성기는 SV-COMP 2019에서 총 221점의 점수를 기록하여 Ultimate Automizer(192점)와 Ultimate Taipan(215점)을 모두 앞섰다.
• 정확한 결과에 대한 평균 CPU 시간은 제안된 방법이 28초로, VeriAbs(97초) 및 Ultimate Automizer(97초)보다 크게 낮았다.
• 이 방법은 평균 10초 이내에 109개의 문제를 정확한 증명으로 해결하여 많은 벤치마크에서 높은 효율성을 입증하였다.
• 간접적 의존성(예: w를 통해 y == z)과 같은 불변식 발견이 어려운 프로그램의 경우, PDR 기반 접근법이 SV-COMP의 ReachSafety-Loops 카테고리에서 가장 우수한 불변식 생성기보다도 더 효율적이었다.
• 이 연구는 PDR이 모든 프로그램에 대해 항상 슈퍼리어하지는 않지만, 복잡한 불변식을 가진 특정 유형의 프로그램에 대해서는 매우 효과적이며, 기존의 k-인덕션에 비해 강력한 대안을 제공함을 확인하였다.