[論文レビュー] Integrating Testing and Interactive Theorem Proving

Harsh Raju Chamarthi, Peter C. Dillinger+2 more|May 23, 2011

Software Testing and Debugging Techniques参考文献 18被引用数 7

ひとこと要約

本稿では、ACL2sにおけるランダムテストとインタラクティブ定理証明の包括的統合を提示する。定理証明器の全機能を活用して、証明の仮説を簡略化し、的を射た反例を生成することで、誤った証明の早期検出が可能となり、より迅速なデバッグと有効な証明への道筋の導出が可能になる。ACL2のリライトおよび型推論機能を活用することで、誤った証明の仮説を自動で検出でき、初心者および熟練者にとっての使いやすさと証明自動化の向上が顕著に実現される。

ABSTRACT

Using an interactive theorem prover to reason about programs involves a sequence of interactions where the user challenges the theorem prover with conjectures. Invariably, many of the conjectures posed are in fact false, and users often spend considerable effort examining the theorem prover's output before realizing this. We present a synergistic integration of testing with theorem proving, implemented in the ACL2 Sedan (ACL2s), for automatically generating concrete counterexamples. Our method uses the full power of the theorem prover and associated libraries to simplify conjectures; this simplification can transform conjectures for which finding counterexamples is hard into conjectures where finding counterexamples is trivial. In fact, our approach even leads to better theorem proving, e.g. if testing shows that a generalization step leads to a false conjecture, we force the theorem prover to backtrack, allowing it to pursue more fruitful options that may yield a proof. The focus of the paper is on the engineering of a synergistic integration of testing with interactive theorem proving; this includes extending ACL2 with new functionality that we expect to be of general interest. We also discuss our experience in using ACL2s to teach freshman students how to reason about their programs.

研究の動機と目的

• インタラクティブ定理証明において、ユーザーが誤った証明の仮説に長時間費やす問題に対処すること。
• 無効な仮説に対して自動で反例を検出・生成することで、デバッグの認知的負担を軽減すること。
• テストフィードバックを活用してバックトラッキングを誘発し、証明探索の改善を図ることで、定理証明を強化すること。
• 特に初心者の教育的文脈において、ユーザーの介入が一切不要な、滑らかで見えないテスト層を構築すること。
• タイプ推論、ヒント記録、計算可能ヒントの新機能をACL2に拡張し、統合的テストを支援すること。

提案手法

• システムは、ACL2の完全なリライトおよび簡略化エンジンを用いて、証明の仮説を前処理し、複雑な仮説をより単純でテスト可能な形に変換する。
• データ定義フレームワークと型推論を統合し、複雑な仮説を満たすランダムなテストケースを生成する。
• 部分目標の反例は、記録された変数省略理由と型情報に基づき、元の証明の仮説に戻す。
• 計算可能ヒントを用いて証明試行を動的にガイドするが、変数省略の追跡とテスト対応のヒント生成を支援するための拡張も施す。
• 一般化が誤った仮説を導く場合、テストフィードバックが定理証明のバックトラッキングを引き起こし、より効果的な証明経路の探索を可能にする。
• 算術およびリストの推論に特化した既存のACL2ライブラリを活用することで、反例生成と証明自動化の両方を向上させる。

実験結果

リサーチクエスチョン

• RQ1 軽量で自動的なテストを統合することで、誤った証明の仮説を早期に検出するには、どのようにインタラクティブ定理証明を強化できるか？
• RQ2 定理証明器の全機能を活用して、証明の仮説を簡略化することで、反例生成の効果をどのように高められるか？
• RQ3 テストフィードバックは、誤った一般化からのバックトラッキングを可能にするなど、証明プロセスをどのように改善できるか？
• RQ4 複雑な証明の文脈において、部分目標からの反例を、元の証明の仮説に体系的にマッピングする方法は何か？
• RQ5 特に教育的文脈における初心者ユーザーにとって、テストの統合をどのようにして見えなく・自動化できるか？

主な発見

• ACL2の熟練者ですら長期間解けなかった証明の仮説に対して、ACL2sは反例を自動生成し、欠落していた仮説（a ≥ 1）を明らかにした。この仮説はすぐに修正された。
• 仮説をa ≥ 1に強化した後、3名のACL2ユーザーが正常な証明を提供した。ACL2sは自動的に算術ライブラリを統合し、証明に成功した。
• システムにより、a ≥ 3/4 という境界がタイトであることが判明した。a < 3/4 に弱めた場合、反例が生成された。
• 自動反例検出に基づき、(< 0 b)および(< 0 c)の仮説を削除しても定理が無効化されないことが示された。
• テストの統合により、ユーザーの認知的負担が軽減された。学生たちはテストを有効化したり管理したりする必要がなく、反例はすべて自動で生成された。
• 変数省略の追跡を含むACL2の計算可能ヒントメカニズムへの拡張は、部分目標の反例を元の証明の仮説にマッピングするために不可欠であった。