[论文解读] Integrating Testing and Interactive Theorem Proving

Harsh Raju Chamarthi, Peter C. Dillinger+2 more|May 23, 2011

Software Testing and Debugging Techniques参考文献 18被引用 7

一句话总结

本文提出在ACL2s中将随机测试与交互式定理证明相结合的协同集成方法，利用定理证明器的全部能力简化待证命题并生成针对性的反例。通过利用ACL2的重写和类型推断机制，系统能自动早期检测出错误的猜想，从而加快调试速度，并引导定理证明朝向有效证明方向发展，显著提升了初学者和专家用户的可用性与证明自动化水平。

ABSTRACT

Using an interactive theorem prover to reason about programs involves a sequence of interactions where the user challenges the theorem prover with conjectures. Invariably, many of the conjectures posed are in fact false, and users often spend considerable effort examining the theorem prover's output before realizing this. We present a synergistic integration of testing with theorem proving, implemented in the ACL2 Sedan (ACL2s), for automatically generating concrete counterexamples. Our method uses the full power of the theorem prover and associated libraries to simplify conjectures; this simplification can transform conjectures for which finding counterexamples is hard into conjectures where finding counterexamples is trivial. In fact, our approach even leads to better theorem proving, e.g. if testing shows that a generalization step leads to a false conjecture, we force the theorem prover to backtrack, allowing it to pursue more fruitful options that may yield a proof. The focus of the paper is on the engineering of a synergistic integration of testing with interactive theorem proving; this includes extending ACL2 with new functionality that we expect to be of general interest. We also discuss our experience in using ACL2s to teach freshman students how to reason about their programs.

研究动机与目标

• 为解决用户在交互式定理证明中因花费过多时间在错误猜想上而面临的挑战。
• 通过自动检测并生成无效猜想的反例，减轻调试的认知负担。
• 利用测试反馈引导回溯并改进证明搜索，从而增强定理证明能力。
• 开发一种无缝且透明的测试层，无需用户干预，尤其适用于初学者的教学场景。
• 扩展ACL2以新增类型推断、提示记录和计算提示功能，以支持集成化测试。

提出的方法

• 系统利用ACL2的完整重写与简化引擎预处理猜想，将复杂假设转化为更简单、可测试的形式。
• 将数据定义框架与类型推断相结合，生成满足复杂假设的随机测试用例。
• 通过记录的变量省略原因和类型信息，将子目标反例映射回原始猜想。
• 框架采用计算提示动态引导证明尝试，增强功能以追踪变量省略并支持面向测试的提示生成。
• 当泛化导致错误猜想时，测试反馈会触发定理证明器的回溯，从而探索更具成效的证明路径。
• 系统复用ACL2现有的算术与列表推理库，以提升反例生成与证明自动化的质量。

实验结果

研究问题

• RQ1 如何通过集成轻量级、自动化的测试来增强交互式定理证明，以实现对错误猜想的早期检测？
• RQ2 如何充分利用定理证明器的全部能力来简化猜想，以提升反例生成的有效性？
• RQ3 测试反馈在哪些方面可以改进定理证明过程，例如通过实现从无效泛化中回溯？
• RQ4 在复杂的证明上下文中，如何系统性地将子目标的反例映射回原始猜想？
• RQ5 如何使测试的集成变得完全透明且自动，尤其在教育场景中面向初学者？

主要发现

• ACL2s系统成功为一个曾让ACL2专家困惑的猜想生成了反例，揭示了缺失的假设（a ≥ 1），随后该假设被迅速修正。
• 在将假设强化为a ≥ 1后，三位ACL2用户均成功提供了证明，ACL2s也通过自动引入算术库实现了证明。
• 该系统使研究者发现a ≥ 3/4的界限是紧致的，因为将该界限弱化为a < 3/4后产生了反例。
• 基于自动反例检测，该框架证明了移除假设（< 0 b）和（< 0 c）是可行的，且不破坏定理的有效性。
• 测试集成显著降低了用户的认知负担，学生无需手动启用或管理测试——反例被自动生成。
• 对ACL2计算提示机制的增强（包括追踪变量省略）对于将子目标反例映射回原始猜想至关重要。