[論文レビュー] Comparison between CPBPV, ESC/Java, CBMC, Blast, EUREKA and Why for Bounded Program Verification

Hélène Collavizza, Michel Rueher+1 more|ArXiv.org|Aug 11, 2008

Formal Methods in Verification参考文献 5被引用数 4

ひとこと要約

この論文は、CおよびJavaのベンチマークに対して、CPBPV—制約プログラミングに基づく境界付きプログラム検証フレームワーク—を、ESC/Java、CBMC、Blast、EUREKA、Whyの6つの既存ツールと比較して評価している。CPBPVは、すべての異なる制約や要素制約のような複雑な制約を優れた方法で処理でき、組み合わせ論的論理や非線形算術を含むプログラムの検証において、検証時間と表現力の面でモデルチェックイングツールを上回っていることが示された。

ABSTRACT

This report describes experimental results for a set of benchmarks on program verification. It compares the capabilities of CPBVP "Constraint Programming framework for Bounded Program Verification" [4] with the following frameworks: ESC/Java, CBMC, Blast, EUREKA and Why.

研究の動機と目的

• CPBPV—境界付きプログラム検証のための制約プログラミングフレームワーク—の有効性と効率性を、既存の検証ツールと比較して評価すること。
• 組み合わせ的および非線形制約を含む複雑なプログラム制約を処理する際の、CPBPVの表現力とスケーラビリティを評価すること。
• ESC/Java、CBMC、Blast、EUREKA、Whyといった既存ツールが、複雑な条件分岐論理や記号的式を用いた配列インデクシングを含むプログラムを検証する際の限界を特定すること。
• 特に要素制約とすべての異なる制約を含む制約プログラミング技法の利点—特に命令型プログラムのモジュラーかつ正確な検証において—を示すこと。
• 同じハードウェアおよび入力条件の下で包括的なベンチマーク比較を提供し、検証の性能と正しさを公正に評価すること。

提案手法

• CPBPVは、プログラム状態と制約を記号的にモデル化し、SAT/SMTソルバを用いて制約を解くことで、プログラムの正しさを検証する。
• このフレームワークは、形式的仕様（例：JMLアノテーション）を統合し、それらを一貫性と妥当性をチェックする制約ストアに変換する。
• ベンチマークでは、CPBPVは記号変数と制約（要素制約を含む配列インデクシング、すべての異なる制約のようなグローバル制約）を含むプログラムを処理する。
• 検証は、制約伝搬とフィルタリングを用いて、事前条件と制御フロー制約の下で事後条件が含意されているかどうかをチェックすることで実施される。
• 入力プログラムは、各ツールの入力形式に適合させた：CPBPV、ESC/Java、Why には JML を使用、CBMC および Blast には C 言語にアサーションを追加、Blast 用には算術式を処理できるように変更された C バージョンを使用。
• すべての実験は、同じ Intel Pentium M 1.86GHz マシン（1.5GB RAM）で実施され、公式リリース版のツールを使用し、実行時間と正しさの結果を記録した。

実験結果

リサーチクエスチョン

• RQ1 CPBPV は、境界付きプログラム検証タスクにおいて、ESC/Java、CBMC、Blast、EUREKA、Why と比較して、性能と正しさの点でどのように異なるか？
• RQ2 CPBPV は、三角形分類や平方和ベンチマークのような複雑な条件分岐論理と組み合わせ的制約を含むプログラムを効果的に検証できるか？
• RQ3 配列操作や記号的インデクシング（例：要素制約）の検証において、従来のモデルチェックイング手法と比較して、制約プログラミングがどのような利点を提供するか？
• RQ4 CPBPV は、SMTベースやモデルチェックイングツールが困難に感じる非線形算術やグローバル制約（例：すべての異なる制約）をどの程度処理できるか？
• RQ5 モジュラー検証とモノリシック検証を比較した場合、CPBPV のモジュラー検証能力はスケーラビリティと検証時間の点でどの程度優れているか？

主な発見

• CPBPV は、10の実行可能なパスを含む三角形分類ベンチマークを正しく検証し、すべての三角形タイプを正しく特定し、無効な入力を拒否した。一方、ESC/Java や Why は式の制限により失敗した。
• 平方和ベンチマークでは、CPBPV は配列サイズが128のもので2秒未満で検証を完了したが、ESC/Java はすべてのサイズで誤ったエラーを報告した。これは、複雑な算術を扱う能力に限界があることを示している。
• CPBPV は、サイズ10の配列を用いた順列の平方和の組み合わせ的ベンチマークを66.179秒で解いた。このタスクは、同等の設定下で EUREKA や CBMC では実行不可能であった。
• 選択ソートのモジュラー検証では、CPBPV は配列サイズ40で0.01秒未塔で検証を完了した。これは、記号的変数を用いた配列インデクシングに要素制約を活用した結果である。一方、EUREKA はより高速なマシンでも104秒を要した。
• CBMC および Blast は、非線形および複雑な算術式に対して苦戦し、CBMC は大きな入力でタイムアウトまたは誤ったエラーを報告した。Blast は算術的推論を含むアサーションの検証に失敗した。
• Why および ESC/Java は、複雑な条件分岐論理と非線形制約の処理に限界を示し、ESC/Java は小さな配列サイズに対しても平方和ベンチマークで誤ったエラーを報告した。