[논문 리뷰] Comparison between CPBPV, ESC/Java, CBMC, Blast, EUREKA and Why for Bounded Program Verification

Hélène Collavizza, Michel Rueher외 1명|ArXiv.org|2008. 08. 11.

Formal Methods in Verification참고 문헌 5인용 수 4

한 줄 요약

이 논문은 C 및 자바 벤치마크 세트에서 여섯 가지 기존 도구—ESC/Java, CBMC, Blast, EUREKA, Why—에 대비하여 유한 프로그램 검증을 위한 제약 프로그래밍 기반 프레임워크인 CPBPV를 평가한다. CPBPV는 알다다른(alldifferent) 및 엘리먼트(element) 제약 조건과 같은 복잡한 제약 조건을 뛰어난 방식으로 처리하고, 조합 논리와 비선형 산술을 포함한 프로그램을 검증하는 데 있어 검증 시간과 표현 능력 면에서 모델 체킹 도구를 능가함을 보여준다.

ABSTRACT

This report describes experimental results for a set of benchmarks on program verification. It compares the capabilities of CPBVP "Constraint Programming framework for Bounded Program Verification" [4] with the following frameworks: ESC/Java, CBMC, Blast, EUREKA and Why.

연구 동기 및 목표

• CPBPV, 즉 유한 프로그램 검증을 위한 제약 프로그래밍 프레임워크의 효과성과 효율성을 기존 검증 도구들과 비교하여 평가하는 것.
• 조합적 및 비선형 제약 조건을 포함한 복잡한 프로그램 제약 조건을 다룰 때 CPBPV의 표현 능력과 확장성 평가.
• ESC/Java, CBMC, Blast, EUREKA, Why와 같은 기존 도구들이 복잡한 조건부 논리와 기호 표현식을 사용한 배열 인덱싱을 검증할 때 겪는 한계를 규명하는 것.
• 특히 엘리먼트 제약 조건과 알다다른 제약 조건을 포함한 제약 프로그래밍 기법이 명령형 프로그램의 모듈화되고 정밀한 검증에 어떻게 유리한지를 보여주는 것.
• 동일한 하드웨어 및 입력 조건에서의 포괄적인 벤치마크 비교를 통해 검증 성능과 정확성에 대한 공정한 평가를 제공하는 것.

제안 방법

• CPBPV는 프로그램 상태와 제약 조건을 기호적으로 모델링하여 제약 조건 해결을 위해 SAT/SMT 솔버를 활용함으로써 프로그램의 정확성을 검증한다.
• 이 프레임워크는 공식 명세(예: JML 주석)를 통합하고 이를 일관성과 타당성을 검증하기 위한 제약 조건 저장소로 변환한다.
• 벤치마크를 위해 CPBPV는 기호 변수와 제약 조건(엘리먼트 제약 조건 포함)이 있는 프로그램을 처리하며, 알다다른과 같은 글로벌 제약 조건도 포함한다.
• 검증은 제약 조건 전파 및 필터링을 통해 사전 조건과 제어 흐름 제약 조건 하에서 후행 조건이 함의되는지 여부를 확인함으로써 수행된다.
• 입력 프로그램은 각 도구의 입력 형식에 맞게 조정되었다: CPBPV, ESC/Java, Why는 JML 형식을 사용하고, CBMC와 Blast는 C에 암시적 암시 조건을 사용하며, Blast는 산술 표현식을 처리하기 위해 수정된 C 형식을 사용했다.
• 모든 실험은 동일한 Intel Pentium M 1.86GHz 머신(1.5GB RAM)에서 공식 도구 릴리스를 사용하여 수행되었으며, 실행 시간과 정확성 결과가 기록되었다.

실험 결과

연구 질문

• RQ1 CPBPV는 ESC/Java, CBMC, Blast, EUREKA, Why와 비교하여 유한 프로그램 검증 작업에서 성능과 정확성 면에서 어떻게 비교되는가?
• RQ2 CPBPV는 삼각형 분류 및 제곱의 합 벤치마크와 같이 복잡한 조건부 논리와 조합 제약 조건을 포함한 프로그램을 효과적으로 검증할 수 있는가?
• RQ3 엘리먼트 제약 조건 등과 같은 제약 프로그래밍 기법은 배열 조작과 기호 인덱싱(예: 엘리먼트 제약 조건) 검증에서 전통적인 모델 체킹 접근 방식보다 어떤 이점을 제공하는가?
• RQ4 SMT 기반 또는 모델 체킹 도구가 어려워하는 비선형 산술과 글로벌 제약 조건(예: 알다다른)을 CPBPV는 어느 정도 다룰 수 있는가?
• RQ5 모듈화된 검증과 단일 구조 검증 간의 확장성과 검증 시간 면에서 CPBPV의 모듈화된 검증 능력은 어떻게 비교되는가?

주요 결과

• CPBPV는 10개의 타당한 경로를 가진 삼각형 분류 벤치마크를 성공적으로 검증하여 모든 삼각형 유형을 정확히 식별하고 잘못된 입력을 거부했으며, ESC/Java와 Why는 표현 한계로 인해 실패했다.
• 제곱의 합 벤치마크에서 CPBPV는 배열 크기가 128 이하일 경우 2초 미만으로 검증을 완료했고, ESC/Java는 모든 크기에서 잘못된 오류를 보고하여 복잡한 산술 처리에서 도구의 한계를 드러냈다.
• CPBPV는 순열의 제곱의 합 조합 벤치마크를 배열 크기 10에서 66.179초 만에 해결했으며, 이는 EUREKA 또는 CBMC가 유사 설정에서 수행할 수 없었던 작업이었다.
• 선택 정렬의 모듈화된 검증에서 CPBPV는 배열 크기 40일 경우 0.01초 미만으로 검증을 완료했으며, 기호 변수를 사용한 배열 인덱싱을 위해 엘리먼트 제약 조건을 활용했고, EUREKA는 더 빠른 머신에서 104초가 걸렸다.
• CBMC와 Blast는 비선형 및 복잡한 산술 표현식에서 어려움을 겪었으며, CBMC는 큰 입력에서 타임아웃되거나 잘못된 오류를 보고했고, Blast는 산술 추론을 포함한 암시 조건 검증에 실패했다.
• Why와 ESC/Java는 복잡한 조건부 논리와 비선형 제약 조건 처리에서 한계를 보였으며, ESC/Java는 작은 배열 크기일 때조차 제곱의 합 벤치마크에서 잘못된 오류를 보고했다.