[论文解读] Constrained Counting and Sampling: Bridging the Gap between Theory and Practice

Kuldeep S. Meel|arXiv (Cornell University)|Jun 6, 2018

Data Management and Algorithms参考文献 93被引用 13

一句话总结

该论文提出了一种基于哈希的新型框架，通过将通用哈希与现代SAT/SMT求解器结合，弥合了受限计数和采样中理论保证与实际性能之间的长期鸿沟。所提出的工具ApproxMC2和UniGen可扩展至包含多达一百万个变量的公式——相比先前工具实现了一次显著飞跃——并实现了无需蒙特卡洛步骤的首个DNF的FPRAS，同时MIS技术通过基于方差感知的哈希方法，将XOR约束规模减少了两个数量级。

ABSTRACT

Constrained counting and sampling are two fundamental problems in Computer Science with numerous applications, including network reliability, privacy, probabilistic reasoning, and constrained-random verification. In constrained counting, the task is to compute the total weight, subject to a given weighting function, of the set of solutions of the given constraints. In constrained sampling, the task is to sample randomly, subject to a given weighting function, from the set of solutions to a set of given constraints. Consequently, constrained counting and sampling have been subject to intense theoretical and empirical investigations over the years. Prior work, however, offered either heuristic techniques with poor guarantees of accuracy or approaches with proven guarantees but poor performance in practice. In this thesis, we introduce a novel hashing-based algorithmic framework for constrained sampling and counting that combines the classical algorithmic technique of universal hashing with the dramatic progress made in combinatorial reasoning tools, in particular, SAT and SMT, over the past two decades. The resulting frameworks for counting (ApproxMC2) and sampling (UniGen) can handle formulas with up to million variables representing a significant boost up from the prior state of the art tools' capability to handle few hundreds of variables. If the initial set of constraints is expressed as Disjunctive Normal Form (DNF), ApproxMC is the only known Fully Polynomial Randomized Approximation Scheme (FPRAS) that does not involve Monte Carlo steps. By exploiting the connection between definability of formulas and variance of the distribution of solutions in a cell defined by 3-universal hash functions, we introduced an algorithmic technique, MIS, that reduced the size of XOR constraints employed in the underlying universal hash functions by as much as two orders of magnitude.

研究动机与目标

• 解决长期以来理论可靠但不实用的受限计数与采样算法与保证较弱的启发式方法之间的差距。
• 为概率推理和基础设施可靠性等大规模现实问题提供可扩展、准确且高效的计数与采样能力。
• 开发一种结合理论算法精确性与现代SAT/SMT求解器性能的框架。
• 通过一种新颖的基于方差感知的技术（MIS），最小化通用哈希中XOR约束的规模，提升效率而不损失准确性。
• 在实际应用中展示该框架的实用性，包括电网可靠性与AI验证。

提出的方法

• 利用通用哈希将受限计数与采样问题转化为一系列SAT/SMT查询，通过随机近似实现理论保证。
• 提出ApproxMC2，一种可扩展的近似模型计数器，采用3-通用哈希与迭代SAT查询，以高置信度估计解的数量。
• 开发UniGen，一种统一采样框架，利用相同的哈希结构生成具有近似均匀分布的解。
• 提出MIS（最小独立支持）技术，通过利用解分布的方差，最小化哈希过程中的XOR约束数量。
• 采用递归约简策略，动态识别并移除冗余变量，从而减小约束系统的规模。
• 采用混合方法，结合SAT求解与随机哈希，实现无需蒙特卡洛采样步骤的DNF公式的FPRAS。

实验结果

研究问题

• RQ1 基于哈希的框架能否在受限计数与采样中同时实现理论保证与实际可扩展性？
• RQ2 如何在不损害准确性或均匀性的情况下最小化通用哈希中XOR约束的规模？
• RQ3 SAT/SMT求解器在多大程度上可被利用以将受限计数与采样扩展至包含数百万变量的公式？
• RQ4 该框架能否在不依赖蒙特卡洛方法的前提下，为DNF公式提供FPRAS？
• RQ5 MIS技术在降低基于哈希的计数与采样计算成本方面有多高效？

主要发现

• ApproxMC2实现了首个无需蒙特卡洛步骤的DNF公式FPRAS，在扩展至最多一百万个变量的公式时，同时提供了理论准确性保证。
• MIS技术将哈希过程中的XOR约束数量减少了高达两个数量级，显著提升了性能。
• UniGen和ApproxMC2可扩展至最多78,650个变量的公式（例如blockmap 20 01.net），相比以往工具仅限于数百个变量，实现了巨大飞跃。
• 该框架表现出高度可并行化特性，可高效利用高性能计算资源，适用于AI与验证工作负载。
• 在电网可靠性与概率推理等实际应用中，该工具在以往方法失败的场景下，提供了准确、可扩展且高效的解决方案。
• 对于s5378a 15 7等基准测试，ApproxMC2在2,000秒内完成解计数，而先前工具在18,000秒内均未能完成。