[论文解读] Approximate Probabilistic Inference via Word-Level Counting

Supratik Chakraborty, Kuldeep S. Meel+2 more|arXiv (Cornell University)|Nov 24, 2015

Bayesian Modeling and Causal Inference参考文献 28被引用 32

一句话总结

该论文提出了 SMTApproxMC，这是首个利用字级哈希函数直接利用 SMT 求解器进行高维离散概率推理的近似模型计数器。通过采用与 SMT 求解器兼容的 2-通用字级哈希函数，它在具有均匀、宽字长约束的基准测试中优于基于位拆分的命题计数器，实现了高精度，几何平均观测误差为 0.04——远低于理论容忍度 0.8。

ABSTRACT

Hashing-based model counting has emerged as a promising approach for large-scale probabilistic inference on graphical models. A key component of these techniques is the use of xor-based 2-universal hash functions that operate over Boolean domains. Many counting problems arising in probabilistic inference are, however, naturally encoded over finite discrete domains. Techniques based on bit-level (or Boolean) hash functions require these problems to be propositionalized, making it impossible to leverage the remarkable progress made in SMT (Satisfiability Modulo Theory) solvers that can reason directly over words (or bit-vectors). In this work, we present the first approximate model counter that uses word-level hashing functions, and can directly leverage the power of sophisticated SMT solvers. Empirical evaluation over an extensive suite of benchmarks demonstrates the promise of the approach.

研究动机与目标

• 为解决有限离散域中近似模型计数的空白，通过直接使用 SMT 求解器而非位拆分来实现。
• 开发一类与 SMT 求解器兼容的新型 2-通用字级哈希函数，用于处理固定宽度字。
• 在具有高维离散变量的概率图模型中实现高效的近似模型计数。
• 证明在实际推理工作负载中，SMT 求解器中的字级推理可显著优于命题化方法。

提出的方法

• 提出一类在固定宽度字上运行的新 2-通用哈希函数族，设计为可被 SMT 求解器高效推理。
• 将这些字级哈希函数集成到避免对字级约束进行命题化（位拆分）的模型计数框架中。
• 使用能够处理线性字级等式和约束的 SMT 求解器，实现原生字级推理。
• 采用类似蒙特卡洛的采样方法，结合哈希函数来估计字级约束系统的解的数量。
• 设计算法以在利用 SMT 求解器优化的同时，保持理论上的近似保证（在 ε = 0.8 容忍度范围内）。
• 实现 SMTApproxMC 的原型，并与最先进的命题模型计数器（如 CDM）进行对比评估。

实验结果

研究问题

• RQ1 能否构建出 2-通用且能被现代 SMT 求解器高效求解的字级哈希函数？
• RQ2 在实践中，直接在字级约束上使用 SMT 求解器是否优于位拆分和命题模型计数？
• RQ3 与精确计数和理论界限相比，字级模型计数所达到的近似质量如何？
• RQ4 在哪些类型的基准测试中，字级推理相比命题化具有性能优势？
• RQ5 SMTApproxMC 的几何平均误差与理论容忍度保证相比如何？

主要发现

• 在具有长且均匀字宽、位级复杂度较低的基准测试中，SMTApproxMC 显著优于 CDM 方法。
• 所有基准测试中观测误差的几何平均值（ε_obs）为 0.04，远低于理论容忍度 0.8。
• 在所有测试基准中，SMTApproxMC 产生的模型计数均在由容忍度因子定义的理论置信区间内。
• 当 SMT 求解器能够无需位拆分直接处理字级约束时，性能提升最为显著。
• 在具有异构字宽或复杂操作（如提取、乘法）的基准测试中，SMTApproxMC 因位拆分开销而性能下降，证实了字级推理的局限性。
• 结果表明，SMTApproxMC 可作为高级推理算法的高效构建模块，并可能推动未来 SMT 求解器的发展。