[논문 리뷰] Why Just Boogie? Translating Between Intermediate Verification Languages

Michael Ameri, Carlo A. Furia|arXiv (Cornell University)|2016. 01. 04.

Logic, programming, and type systems참고 문헌 17인용 수 4

한 줄 요약

이 논문은 Boogie에서 WhyML로의 의미 유지 번역을 제안하며, Why3의 더 유연한 백엔드 증명기들을 활용해 Boogie 프로그램을 검증할 수 있도록 한다. 도구 b2w는 194개의 Boogie 프로그램을 번역하였고, Why3는 동일한 결과를 낸 83%의 프로그램을 성공적으로 검증하였다. 이는 실용 가능성과 교차 도구 검증 잠재력의 증거이다.

ABSTRACT

The verification systems Boogie and Why3 use their respective intermediate languages to generate verification conditions from high-level programs. Since the two systems support different back-end provers (such as Z3 and Alt-Ergo) and are used to encode different high-level languages (such as C# and Java), being able to translate between their intermediate languages would provide a way to reuse one system's features to verify programs meant for the other. This paper describes a translation of Boogie into WhyML (Why3's intermediate language) that preserves semantics, verifiability, and program structure to a large degree. We implemented the translation as a tool and applied it to 194 Boogie-verified programs of various sources and sizes; Why3 verified 83% of the translated programs with the same outcome as Boogie. These results indicate that the translation is often effective and practically applicable.

연구 동기 및 목표

• Boogie에서 검증된 프로그램에 대해 Why3의 고급 검증 백엔드(예: Alt-Ergo, CVC4, Coq)를 재사용할 수 있도록 하기 위해.
• Boogie와 WhyML 간의 번역 과정에서 의미적 정확성, 검증 가능성, 프로그램 구조를 유지하기 위해.
• 번역된 프로그램을 Why3에서 재검증하여 Boogie의 검증 결과에 대한 실질적인 검증 메커니즘을 제공하기 위해.
• Boogie의 검증 스택의 한계—예를 들어 실수 산술 및 루프 인variant 처리 오류—를 Why3의 더 견고하고 다양한 증명기 지원을 통해 보완하기 위해.
• 중간 검증 언어(IVL) 간의 번역이 실현 가능하고, 자동 검증에 대한 신뢰도를 향상시키는 데 유익할 수 있음을 입증하기 위해.

제안 방법

• 의미와 구조를 유지하는 Boogie 프로그램에서 등가인 WhyML 프로그램으로의 번역 함수 𝒯를 설계하기 위해.
• 절차, 주장, 명령형 구조 등을 포함한 핵심 Boogie 기능을 지원하는 도구 b2w로 번역을 구현하기 위해.
• WhyML의 ML 계열 문법과 표현력 있는 타입 체계에 맞추어 Boogie의 타입 체계와 논리 표현식을 매핑하기 위해.
• 다형성 맵과 비트벡터와 같은 복잡한 기능을 번역할 때의 과제를 해결하기 위해 인스턴스 제한과 보수적인 인코딩을 사용하기 위해.
• Why3가 SMT 기반 검증 외에도 상호작용 증명기까지 다양한 백엔드에 검증 조건을 디스패치할 수 있도록 활용하여, Boogie의 기본 SMT 기반 검증의 한계를 보완하기 위해.
• 다양한 출처에서 확보한 194개의 Boogie 검증 프로그램에 도구를 적용하여 정확성, 검증 가능성, 가독성 등을 평가하기 위해.

실험 결과

연구 질문

• RQ1 Boogie에서 WhyML로의 번역이 다양한 프로그램에 걸쳐 의미적 정확성과 검증 가능성을 유지할 수 있는가?
• RQ2 Boogie가 백엔드의 한계(예: Z3)로 실패할 경우, Why3는 번역 후 Boogie 프로그램을 얼마나 잘 검증할 수 있는가?
• RQ3 번역 과정에서 프로그램 구조와 가독성이 얼마나 잘 유지되어 유지보수성과 디버깅에 기여하는가?
• RQ4 번역이 Boogie의 검증 결과에서 잘못된 양성(false positive)을 탐지하는 교차 검증 메커니즘으로 기능할 수 있는가?
• RQ5 비트벡터와 다형성 맵과 같은 Boogie 기능을 WhyML로 번역할 때의 실용적 한계는 무엇인가?

주요 결과

• 도구 b2w는 194개의 Boogie 프로그램을 WhyML로 성공적으로 번역하였고, 그 중 161개(83%)가 Why3에 의해 동일한 결과로 검증되었다.
• Why3는 잘못된 후행 조건을 가진 문제 있는 Boogie 프로그램 'not_verify'를 모순을 일으키므로 잘못된 것으로 거부했고, Boogie와 Z3는 이를 잘못 검증하였다.
• Why3는 'lemma_yes'(2³ > 0)를 올바르게 검증하고 'lemma_no'(2³ < 0)를 거부하여 Boogie의 Z3 통합에 비해 실수 산술 처리에서 뛰어난 성능을 보였다.
• 'trivial_inv'의 루프 인버리언트에 대해 Why3는 CVC4 백엔드 또는 상호작용 증명기를 사용하여 인버리언트를 성공적으로 검증했고, Boogie는 Z3의 트리거 히وري스틱 문제로 실패하였다.
• 다양한 다형성 맵과 비트벡터 연산의 처리에 한계가 있음에도 불구하고 번역은 효과를 유지하였으며, 이는 제한되거나 의미적으로 근사된 방식으로 처리되기 때문이다.
• 결과적으로 IVL 간 번역이 실용적이며, 교차 도구 검증을 통해 검증 신뢰도를 향상시킬 수 있음을 확인하였다.