[論文レビュー] Interpolation and SAT-Based Model Checking Revisited: Adoption to Software Verification

Dirk Beyer, Nian-Ze Lee+1 more|arXiv (Cornell University)|Aug 9, 2022

Software Reliability and Analysis Research被引用数 10

ひとこと要約

この論文は、かつてハードウェア検証に限定されていたMcMillanの2003年の補間に基づくモデル検査（IMC）アルゴリズムを再考し、大ブロック符号化とSMTソルバを用いてソフトウェア検証に成功した応用を実現した。公開されている最大規模のC言語検証ベンチマークで評価された結果、他の補間ベースの手法よりも優れた性能を示し、他の手法が失敗した7つのタスクを独自に解決した。これは、ソフトウェア検証におけるIMCの競争力と補完的役割を示している。

ABSTRACT

The article "Interpolation and SAT-Based Model Checking" (McMillan, 2003) describes a formal-verification algorithm, which was originally devised to verify safety properties of finite-state transition systems. It derives interpolants from unsatisfiable BMC queries and collects them to construct an overapproximation of the set of reachable states. Although 20 years old, the algorithm is still state-of-the-art in hardware model checking. Unlike other formal-verification algorithms, such as k-induction or PDR, which have been extended to handle infinite-state systems and investigated for program analysis, McMillan's interpolation-based model-checking algorithm from 2003 has not been used to verify programs so far. Our contribution is to close this significant, two decades old gap in knowledge by adopting the algorithm to software verification. We implemented it in the verification framework CPAchecker and evaluated the implementation against other state-of-the-art software-verification techniques on the largest publicly available benchmark suite of C safety-verification tasks. The evaluation demonstrates that McMillan's interpolation-based model-checking algorithm from 2003 is competitive among other algorithms in terms of both the number of solved verification tasks and the run-time efficiency. Our results are important for the area of software verification, because researchers and developers now have one more approach to choose from.

研究の動機と目的

• McMillanの2003年補間ベースモデル検査（IMC）アルゴリズムを、かつて有限状態ハードウェアシステムに特化していたが、ソフトウェア検証に適応させることで、20年間の形式的検証の空白を埋めること。
• 元々有限状態ハードウェアシステムに設計された古典的IMCアルゴリズムが、無限状態ソフトウェアシステムに対しても依然として実用的かつ効果的であるかを評価すること。
• 高度なSMTソルバの活用により、IMCを実世界のCプログラムにスケーラブルに適用できるかを示すこと。
• 大規模なベンチマークスイート上で、IMCの性能と有効性を最新のソフトウェア検証技術と比較すること。
• 今後の研究のための基準となる、CPACHECKERにおける新規でオープンソースの実装を提供すること。

提案手法

• Cプログラムからシンボリックなプログラムカウンタを明示的に扱わず、大ブロック符号化を用いて遷移関係を抽出することで、McMillanの元来のIMCアルゴリズムを採用した。
• 未満たしのBMCクエリから得られる補間を用いて到達可能な状態を過剰近似し、以前に得た補間を再利用することで一般化を向上させた。
• 他の最新の検証技術と公平な比較を可能にするために、CPACHECKERフレームワークにアルゴリズムを統合した。
• 未展開のプログラムパスから生じる複雑な論理式を処理するためにSMTソルバを活用し、現代のソルバの性能を活かしてスケーラビリティを確保した。
• SV-COMP '22 C安全検証ベンチマークスイートを用いて、体系的なベンチマーク評価を実施した。
• 再現性を保証するため、CPU時間とメモリ使用量の正確な測定をBENCHEXECを用いて実施した。

実験結果

リサーチクエスチョン

• RQ1 McMillanの2003年補間ベースモデル検査（IMC）アルゴリズムは、元々有限状態システムに設計されていたが、ソフトウェア検証に効果的に適応可能であるか？
• RQ2 他の最新のSMTベースソフトウェア検証技術と比較して、IMCの性能（解決タスク数と実行時間効率）はどの程度か？
• RQ3 初期状態および過去の補間から得られる補間を用いるIMCは、各パスごとに補間を生成するIMPACTのような手法よりも、より高品質な抽象化とより良い一般化を達成するか？
• RQ4 リソース制限のため他の補間ベース手法が失敗するが、IMCでは検証可能なプログラムは存在するか？
• RQ5 CPACHECKERへのIMC統合により、今後の補間ベースソフトウェア検証研究のための安定的で再利用可能かつオープンソースの基準が得られるか？

主な発見

• IMCは、SV-COMP '22ベンチマークスイートにおいて、他の最新技術と同等の有効性と効率性を達成し、競争力のある性能を示した。
• IMCは、他のすべての手法が15分のCPU時間または15GBのメモリ制限内で失敗した7つのC言語検証タスクを独自に解決した。これは、困難なプログラムを処理する独自の能力を示している。
• IMCはIMPACTよりも補間の処理に要するリソースが少なかった。これは、より高品質な補間を生成し、プログラムパス全体にわたる一般化が優れていることを示している。
• 大ブロック符号化の活用により、明示的なシンボリックなプログラムカウンタを必要とせず、適切な遷移関係の抽出が可能になった。これにより、符号化の簡素化と正しさの維持が実現された。
• CPACHECKERにおける実装は安定的で再利用可能であり、すべてのソフトウェア、入力、および結果が公開されており、再現性と今後の研究に適している。
• 結果から、McMillanの2003年のアルゴリズムが現代のソフトウェア検証においても依然として関連性があり、有効であることが示された。これは、既存の手法に対する貴重な補完的役割を果たすものである。