[论文解读] On Uniformly Sampling Traces of a Transition System (Extended Version)

Supratik Chakraborty, Aditya A. Shrotri+1 more|arXiv (Cornell University)|Aug 12, 2020

Formal Methods in Verification参考文献 36被引用 3

一句话总结

本文提出 TraceSampler，一种基于代数决策图（ADDs）的符号化算法，可在用户指定约束下对时序电路的有界轨迹进行均匀采样，确保轨迹分布的可证明均匀性或偏差。实验表明，该方法在采样速度和可扩展性方面优于当前最先进的工具（如 WAPS 和 UniGen2），尤其在 BDD 构建成功的情况下表现更优。

ABSTRACT

A key problem in constrained random verification (CRV) concerns generation of input stimuli that result in good coverage of the system's runs in targeted corners of its behavior space. Existing CRV solutions however provide no formal guarantees on the distribution of the system's runs. In this paper, we take a first step towards solving this problem. We present an algorithm based on Algebraic Decision Diagrams for sampling bounded traces (i.e. sequences of states) of a sequential circuit with provable uniformity (or bias) guarantees, while satisfying given constraints. We have implemented our algorithm in a tool called TraceSampler. Extensive experiments show that TraceSampler outperforms alternative approaches that provide similar uniformity guarantees.

研究动机与目标

• 为解决现有约束随机验证（CRV）工具在系统轨迹生成中缺乏形式化均匀性保证的问题。
• 在用户定义的约束下，实现对时序电路中有限轨迹（状态序列）的均匀或偏差采样。
• 开发一种可扩展的符号化方法，避免显式构建完整的状态转移图。
• 在保持工业规模基准测试实际性能的同时，提供可证明的均匀性保证。
• 弥合长时间运行的 CRV 模拟与可证明多样化、均匀采样的短轨迹片段之间的差距，以支持针对性验证。

提出的方法

• 使用代数决策图（ADDs）符号化表示多周期轨迹的状态转移函数及约束。
• 通过动态变量重排和高效的 ADD 构建技术，应对状态空间爆炸问题。
• 在 ADD 上递归应用采样过程，生成具有均匀性或用户指定偏差的轨迹。
• 每周期调用 SAT/SMT 求解器，从采样得到的状态序列推导输入激励。
• 通过将轨迹样本转换为仿真可用的有效输入激励，与现有验证流程无缝集成。
• 通过编译阶段预计算 ADD 表示，将成本分摊至多个采样任务。

实验结果

研究问题

• RQ1 我们能否在不显式构建完整状态转移图的前提下，对时序电路中的系统轨迹实现可证明的均匀采样？
• RQ2 与基于 SAT 的均匀采样器（如 UniGen2 和 WAPS）相比，基于 ADD 的采样性能如何？
• RQ3 动态变量重排对 ADD 构建时间和可扩展性有何影响？
• RQ4 所提出方法在 BDD 可行的工业基准上是否具备可扩展性？
• RQ5 在实际中，采样质量（均匀性）与理想均匀采样相比如何？

主要发现

• TraceSampler 在计数和采样任务上相比 ApproxMC3 平均提速 17 倍，且可生成长达 5 倍于 ApproxMC3 的轨迹。
• TraceSampler 与理想均匀采样之间的 Jensen-Shannon 散度仅为 0.003，表明其均匀性近乎完美。
• TraceSampler 在采样速度和可扩展性方面优于 WAPS，尤其在 BDD 构建成功的情况下表现更优。
• ApproxMC3 可对 208 个 BDD 失败基准中的 62 个完成计数，但使用 UniGen2 进行采样将极其耗时，表明存在根本性的可扩展性差距。
• 大多数 ADD 构建时间消耗在动态变量重排上，提示通过更优的变量排序策略可进一步优化性能。
• 长周期 CRV 模拟与短周期、均匀采样的轨迹片段之间的协同作用，为未来验证工作流提供了有前景的方向。