[論文レビュー] On Uniformly Sampling Traces of a Transition System (Extended Version)

Supratik Chakraborty, Aditya A. Shrotri+1 more|arXiv (Cornell University)|Aug 12, 2020

Formal Methods in Verification参考文献 36被引用数 3

ひとこと要約

本稿では、代数的意思決定図（ADDs）を用いた記号的アルゴリズムであるTraceSamplerを提示する。この手法は、ユーザーが指定した制約のもとで、順序回路の有界なトレースを一様にサンプリングし、トレース分布の証明可能な一様性またはバイアスを保証する。実験の結果、BDDの構築に成功するベンチマークにおいて、WAPS や UniGen2 といった最先端のツールを上回るサンプリング速度とスケーラビリティを達成した。

ABSTRACT

A key problem in constrained random verification (CRV) concerns generation of input stimuli that result in good coverage of the system's runs in targeted corners of its behavior space. Existing CRV solutions however provide no formal guarantees on the distribution of the system's runs. In this paper, we take a first step towards solving this problem. We present an algorithm based on Algebraic Decision Diagrams for sampling bounded traces (i.e. sequences of states) of a sequential circuit with provable uniformity (or bias) guarantees, while satisfying given constraints. We have implemented our algorithm in a tool called TraceSampler. Extensive experiments show that TraceSampler outperforms alternative approaches that provide similar uniformity guarantees.

研究の動機と目的

• 順序回路のトレース生成における制約付きランダム検証（CRV）ツールに、形式的な一様性の保証が欠如しているという問題に対処すること。
• ユーザー定義の制約のもとで、順序回路における有界なトレース（状態列）の均一またはユーザー指定のバイアス付きサンプリングを可能にすること。
• 完全な状態遷移図を明示的に構築することなく、スケーラブルな記号的アプローチを開発すること。
• 実用的な性能を維持しつつ、産業規模のベンチマークでも証明可能な一様性の保証を提供すること。
• 長時間にわたるCRVシミュレーションと、証明可能な多様性と一様性を持つ短いトレースセグメントの間のギャップを埋めること。

提案手法

• 複数サイクルにわたるトレースに関する状態遷移関数と制約を、代数的意思決定図（ADDs）を用いて記号的に表現する。
• 状態空間の爆発を管理するため、動的変数再順序付けと効率的なADD構築を適用する。
• ADD上で再帰的なサンプリング手順を適用し、均一またはユーザー指定のバイアス付きトレースを生成する。
• 各サイクルごとにSAT/SMTコールを用いて、サンプリングされた状態列から入力刺激を導出する。
• トレースサンプルをシミュレーション用の有効な入力刺激に変換することで、既存の検証ワークフローに統合する。
• 複数のサンプルにわたってコストを amortize（均等化）するため、コンパイル段階で事前にADD表現を計算する。

実験結果

リサーチクエスチョン

• RQ1 完全な状態遷移図を明示的に構築せずに、順序回路におけるシステムトレースの証明可能な一様サンプリングは可能か？
• RQ2 ADDベースのサンプリングは、UniGen2 や WAPS といったSATベースの一様サンプラーと比較して、性能に優れるか？
• RQ3 動的変数再順序付けは、ADD構築時間とスケーラビリティにどのような影響を与えるか？
• RQ4 本手法は、BDDが実行可能な産業用ベンチマークにスケーリング可能か？
• RQ5 実際のところ、サンプリングの質（一様性）は、理想の一様サンプリングと比較してどの程度か？

主な発見

• TraceSamplerは、数え上げとサンプリングにおいてApproxMC3よりも平均17倍の高速化を達成し、ApproxMC3よりも最大5倍長いトレースをサンプリングできた。
• TraceSamplerと理想の一様サンプリングとの間のジェンセン・シャノン発散はわずか0.003にとどまり、ほぼ完璧な一様性を示した。
• BDDの構築に成功するベンチマークにおいて、TraceSamplerはWAPSをサンプリング速度とスケーラビリティの両面で上回った。
• ApproxMC3は208件の失敗したBDDベンチマークのうち62件を数えることができたが、UniGen2を用いたサンプリングは著しく遅く、根本的なスケーラビリティのギャップが示された。
• 大多数のADD構築時間は動的変数再順序付けに費やされており、より良い変数順序付けにより最適化の余地があることが示唆された。
• 長時間のCRVシミュレーションと短時間で一様にサンプリングされたトレースセグメントの相乗効果は、将来的な検証ワークフローにおいて有望である。