[논문 리뷰] Integrating Testing and Interactive Theorem Proving

Harsh Raju Chamarthi, Peter C. Dillinger외 2명|2011. 05. 23.

Software Testing and Debugging Techniques참고 문헌 18인용 수 7

한 줄 요약

이 논문은 ACL2s에서 무작위 테스팅과 상호작용 증명 도구를 상호보완적으로 통합하여, 정리 도구의 전체 기능을 활용해 추측을 단순화하고 타겟팅된 반례를 생성한다. ACL2의 리라이팅 및 타입 추론 기능을 활용해 시스템은 잘못된 추측을 조기에 자동으로 탐지함으로써 더 빠른 디버깅을 가능하게 하고, 정리 증명을 타당한 증명으로 이끌어내어 초보자와 전문가 모두의 사용성과 증명 자동화를 크게 향상시킨다.

ABSTRACT

Using an interactive theorem prover to reason about programs involves a sequence of interactions where the user challenges the theorem prover with conjectures. Invariably, many of the conjectures posed are in fact false, and users often spend considerable effort examining the theorem prover's output before realizing this. We present a synergistic integration of testing with theorem proving, implemented in the ACL2 Sedan (ACL2s), for automatically generating concrete counterexamples. Our method uses the full power of the theorem prover and associated libraries to simplify conjectures; this simplification can transform conjectures for which finding counterexamples is hard into conjectures where finding counterexamples is trivial. In fact, our approach even leads to better theorem proving, e.g. if testing shows that a generalization step leads to a false conjecture, we force the theorem prover to backtrack, allowing it to pursue more fruitful options that may yield a proof. The focus of the paper is on the engineering of a synergistic integration of testing with interactive theorem proving; this includes extending ACL2 with new functionality that we expect to be of general interest. We also discuss our experience in using ACL2s to teach freshman students how to reason about their programs.

연구 동기 및 목표

• 사용자가 상호작용 증명 도구에서 잘못된 추측에 너무 많은 시간을 소비하는 문제를 해결하기 위해.
• 잘못된 추측에 대한 반례를 자동으로 탐지하고 생성하여 디버깅의 인지 부담을 줄이기 위해.
• 테스팅 피드백을 활용해 백트래킹을 유도하고 증명 탐색을 향상시켜 정리 증명을 향상시키기 위해.
• 사용자 간섭 없이도 원활하고 눈에 띄지 않는 테스팅 레이어를 개발하여, 특히 초보자에게 적합하게 만들기 위해.
• 테스팅 통합을 지원하기 위해 ACL2에 타입 추론, 힌트 기록, 계산된 힌트 기능을 신규로 추가하기 위해.

제안 방법

• 시스템은 추측을 사전 처리하기 위해 ACL2의 전체 리라이팅 및 단순화 엔진을 사용하여 복잡한 가정을 더 단순하고 테스트 가능한 형태로 변환한다.
• 데이터 정의 프레임워크와 타입 추론을 통합하여 복잡한 가정을 만족하는 랜덤 테스트 케이스를 생성한다.
• 하위목표 반례는 기록된 변수 생략 이유와 타입 정보를 사용해 원래의 추측으로 다시 매핑된다.
• 계산된 힌트를 활용해 증명 시도를 동적으로 안내하며, 변수 생략 추적 및 테스팅 인식 힌트 생성을 지원하기 위해 개선된 메커니즘을 사용한다.
• 일반화가 잘못된 추측을 유도할 경우, 테스팅 피드백이 정리 도구의 백트래킹을 유도하여 더 유망한 증명 경로 탐색을 가능하게 한다.
• 시스템은 산술 및 리스트 추론을 위한 기존 ACL2 라이브러리를 활용하여 반례 생성 및 증명 자동화를 향상시킨다.

실험 결과

연구 질문

• RQ1 경량이고 자동적인 테스팅을 통합함으로써 상호작용 증명 도구가 잘못된 추측을 조기에 탐지하는 데 어떻게 향상될 수 있는가?
• RQ2 정리 도구의 전체 기능을 활용해 추측을 단순화함으로써 반례 생성의 효과성을 어떻게 높일 수 있는가?
• RQ3 테스팅 피드백가 증명 과정을 어떻게 향상시킬 수 있는가? 예를 들어, 잘못된 일반화로부터의 백트래킹을 가능하게 하는가?
• RQ4 복잡한 증명 환경에서 하위목표의 반례를 원래 추측으로 체계적으로 매핑하는 방법은 무엇인가?
• RQ5 테스팅 통합을 어떻게 눈에 띄지 않게 하고 자동화할 수 있는가? 특히 교육 현장에서의 초보자 사용자에게서.

주요 결과

• ACL2s 시스템은 ACL2 전문가가 오랫동안 해결하지 못한 추측에 대해 반례를 성공적으로 생성했으며, 누락된 가정(a ≥ 1)을 드러내었고, 이를 빠르게 수정할 수 있었다.
• 가정을 a ≥ 1로 강화한 후, ACL2 사용자 3명이 성공적인 증명을 제출했으며, ACL2s는 자동으로 포함된 산술 라이브러리를 사용해 증명을 달성했다.
• 시스템은 bound a ≥ 3/4 가 타당한 한계임을 밝혀내었으며, 이를 a < 3/4 로 약화시키면 반례가 생성됨을 확인했다.
• 자동 반례 탐지 기반으로, (< 0 b) 및 (< 0 c) 가정을 제거하는 것이 정리의 타당성을 해치지 않음을 입증했다.
• 테스팅 통합으로 사용자의 인지 부담이 감소했으며, 학생들은 테스팅을 활성화하거나 관리할 필요 없이 반례가 자동으로 생성됨을 경험했다.
• 변수 생략 추적을 포함한 ACL2의 계산된 힌트 메커니즘 개선이 하위목표 반례를 원래 추측으로 매핑하는 데 필수적이었다.