[論文レビュー] Software Verification with PDR: Implementation and Empirical Evaluation of the State of the Art

Dirk Beyer, Matthias Dangl|arXiv (Cornell University)|Aug 17, 2019

Formal Methods in Verification参考文献 23被引用数 4

ひとこと要約

本稿は、C言語のソフトウェア検証を目的とした、Property-Directed Reachability (PDR) の優れた設計・実装を提示するとともに、k-帰納法に統合可能な新規のPDRベースの補助不変条件生成器を提案する。本稿は、最大規模の公開ベンチマーク（SV-COMP 2019 ReachSafety-Loops）を用いて評価し、提案手法のPDRアプローチが既存のPDRツールを上回り、特定の証明が難しいプログラムにおいてはSV-COMPで最も効率の良い不変条件生成器を上回ることを示している。

ABSTRACT

Property-directed reachability (PDR) is a SAT/SMT-based reachability algorithm that incrementally constructs inductive invariants. After it was successfully applied to hardware model checking, several adaptations to software model checking have been proposed. We contribute a replicable and thorough comparative evaluation of the state of the art: We (1) implemented a standalone PDR algorithm and, as improvement, a PDR-based auxiliary-invariant generator for k-induction, and (2) performed an experimental study on the largest publicly available benchmark set of C verification tasks, in which we explore the effectiveness and efficiency of software verification with PDR. The main contribution of our work is to establish a reproducible baseline for ongoing research in the area by providing a well-engineered reference implementation and an experimental evaluation of the existing techniques.

研究の動機と目的

• PDRがハードウェア検証で成功を収めているのに対し、ソフトウェア検証ではその適用が限定的であるというギャップを埋めること。
• ソフトウェア検証用に再現可能で洗練されたPDRのリファレンス実装を提供すること。
• 大規模かつ多様なC言語検証タスクのベンチマークセットを用いて、PDRに基づく手法の有効性と効率性を実証的に評価すること。
• 提案手法のPDR適合法を、ソフトウェア検証分野の既存ツールや手法と比較すること。
• 今後のPDRに基づくソフトウェア検証研究のためのベースラインを確立すること。

提案手法

• SMTソルバを用い、無限状態空間を扱えるようにカスタマイズした、ソフトウェア検証に特化したスタンドアロンPDRアルゴリズムを実装した。
• k-帰納法に統合可能な、PDRに類似した補助不変条件生成器を設計・実装した。
• 帰納法の反例に基づいて、反例の先行状態を一般化することで不変条件を生成する、clause学習戦略を採用した。
• 不変条件生成器をk-帰納フレームワークに統合し、安全性性質の証明能力を向上させた。
• BenchExecフレームワークを用いて、SV-COMP 2019のReachSafety-Loopsカテゴリに属する208件のC言語検証タスクに対して実験を行い、リソース使用の正確な会計処理を実現した。
• CPAchecker-CTIGAR や Vvt-CTIGAR など複数のツールと比較し、正しさ、速度、リソース使用量の詳細なメトリクスを評価した。

実験結果

リサーチクエスチョン

• RQ1 実世界のCプログラムにおけるソフトウェア検証の文脈で、スタンドアロンのPDR実装はどの程度有効であるか？
• RQ2 PDRベースの補助不変条件生成器は、ソフトウェア検証におけるk-帰納法の性能を向上させることができるか？
• RQ3 Vvt や SeaHorn といった既存のPDRベースの検証ツールと比較して、提案手法のPDR実装は精度と効率の面でどの程度優れているか？
• RQ4 どのような種類のプログラムが、他の手法と比較してPDRベースの不変条件生成に最も恩恵を受けるか？
• RQ5 PDRは、産業的水準の検証ベンチマークにおいて、最先端の不変条件生成器と競合可能な代替手段となり得るか？

主な発見

• 提案手法のPDR実装は、正しさと効率性の両面で、既存のVvt PDRツールを上回り、208件中144件を解決したのに対し、Vvtは126件にとどまった。
• KI ⟲←−KIPDR におけるPDRベースの不変条件生成器は、SV-COMP 2019で合計221点を獲得し、Ultimate Automizer（192点）とUltimate Taipan（215点）を上回った。
• 正解結果の平均CPU時間は、本手法で28秒であった。これは、VeriAbs（97秒）やUltimate Automizer（97秒）よりも顕著に低い。
• 本手法は、平均10秒未満で正しく証明可能な問題を109件解決しており、多数のベンチマークで高い効率性を示した。
• 不変条件の発見が困難なプログラム（例：wを介してy == zのような間接的依存関係を有するもの）において、PDRベースのアプローチは、SV-COMPのReachSafety-Loopsカテゴリで最も効率の良い不変条件生成器を上回った。
• 本研究は、PDRが万能ではないものの、複雑な不変条件を有する特定の種類のプログラムに対しては非常に効果的であり、従来のk-帰納法と比較して強力な代替手段を提供することを確認した。