[논문 리뷰] Reusing Precisions for Efficient Regression Verification

Dirk Beyer, Stefan Löwe외 3명|arXiv (Cornell University)|2013. 05. 29.

Software Testing and Debugging Techniques참고 문헌 20인용 수 3

한 줄 요약

이 논문은 추상 해석에서 유도된 중간 결과인 추상화 정밀도를 재사용함으로써 회귀 검증에서 재사용 가능한 검증 사실로 활용함으로써, 중복 계산을 극적으로 줄이는 방법을 제안한다. 수정 사항 간에 정밀도를 재사용함으로써, 산업용 디바이스 드라이버에서 평균적으로 3.7배까지 검증 시간을 단축시키며, 최소한의 오버헤드와 성능 저하 없이도 성능을 유지한다.

ABSTRACT

Continuous testing during development is a well-established technique for software-quality assurance. Continuous model checking from revision to revision is not yet established as a standard practice, because the enormous resource consumption makes its application impractical. Model checkers compute a large number of verification facts that are necessary for verifying if a given specification holds. We have identified a category of such intermediate results that are easy to store and efficient to reuse: abstraction precisions. The precision of an abstract domain specifies the level of abstraction that the analysis works on. Precisions are thus a precious result of the verification effort and it is a waste of resources to throw them away after each verification run. In particular, precisions are small and thus easy to store; they are easy to process and have a large impact on resource consumption. We experimentally show the impact of precision reuse on industrial verification problems, namely, 59 device drivers with 1119 revisions from the Linux kernel.

연구 동기 및 목표

• 소프트웨어 개발 과정에서 지속적인 형식적 검증의 높은 계산 비용을 해결한다.
• 이전 분석에서 유도된 중간 결과를 재사용하여 소프트웨어 수정 버전 간의 중복 검증 작업을 줄인다.
• 추상화 정밀도를 가벼운 영향력이 큰 재사용 가능한 검증 지식 형태로 식별하고 활용한다.
• Linux 커널과 같은 대규모 실제 산업 코드베이스에서 정밀도 재사용의 확장성과 견고성을 입증한다.
• 4,193개의 검증 작업을 포함한 공개 가능한 벤치마크 세트를 제공하여 회귀 검증 연구를 지원한다.

제안 방법

• CEGAR 기반 검증 도구에서 인터폴로레이션 또는 유사 기법을 사용할 때 모델 체킹 실행 과정에서 추상화 정밀도를 추출한다.
• 이 정밀도를 툴에 종속되지 않는 경량 메타데이터로 저장하고 지속적으로 유지한다.
• 수정된 코드 버전의 후속 검증 실행에서 저장된 정밀도를 초기 추상화로 적용한다.
• 저장된 정밀도를 재사용하여 CEGAR 반복 횟수를 줄이고, 잘못된 반례에 대한 중복 분석을 방지한다.
• 정밀도 재사용을 상징적 및 명시적 모델 체킹 접근 방식에 통합하여 일반 적용 가능성 평가를 수행한다.
• 실제 커널 드라이버 수정 사항으로부터 검증 작업을 생성하고 검증하기 위해 Linux 드라이버 검증(LDV) 툴킷을 사용한다.

실험 결과

연구 질문

• RQ1 추상화 정밀도가 소프트웨어 수정 간에 효과적으로 재사용되어 회귀 검증을 가속화할 수 있는가?
• RQ2 정밀도 재사용이 Linux 커널과 같은 실제 산업 코드베이스에서 검증 성능에 어떤 영향을 미치는가?
• RQ3 크기와 구조의 변화에 대해 정밀도 재사용이 얼마나 민감한가, 특히 대규모 커밋에 대해서는 어떻게 되는가?
• RQ4 대규모 코드 변경에 대해 정밀도 재사용이 성능을 저하시키거나 잘못된 부정 결과를 유도하는가?
• RQ5 정밀도 재사용이 자원 제한 내에서 이전에 해결 불가능했던 검증 문제를 해결할 수 있는가?

주요 결과

• 4,193개의 검증 작업 전반에서 예측 분석의 경우 평균 검증 시간을 3.7배, 명시적 분석의 경우 1.4배 단축시켰다.
• 평균적으로 각 수정 사항당 1,579줄의 대규모 코드 변경에도 불구하고, 예측 분석의 경우 속도 향상이 3.7배에서 3.2배로 약간 감소할 뿐이었다.
• 다양한 사양과 추상 도메인 간에 성능 안정성을 유지하여 코드 변경에 대한 견고성을 입증했다.
• 일부 사례에서는 정밀도 재사용 덕분에 이전에는 자원 제한 내에서 해결 불가능했던 문제를 해결할 수 있었다.
• CEGAR 반복 횟수를 줄이고 잘못된 반례에 대한 중복 분석을 최소화했다.
• 이 실험적 파이프라인을 통해 Linux 커널의 알려지지 않은 버그를 발견하고 보고하여 실제 영향력을 입증했다.