[论文解读] AND/OR Importance Sampling

Vibhav Gogate, Rina Dechter|arXiv (Cornell University)|Jun 13, 2012

Bayesian Modeling and Causal Inference参考文献 14被引用 8

一句话总结

本文提出了一种AND/OR重要性采样方法，用于图形模型中的概率推理，通过在AND/OR搜索空间中缓存样本以降低方差。通过利用模型的结构，该方法在复杂贝叶斯网络中实现了显著低于标准重要性采样的方差和更高的准确性，具有理论依据并得到了实证验证。

ABSTRACT

The paper introduces AND/OR importance sampling for probabilistic graphical models. In contrast to importance sampling, AND/OR importance sampling caches samples in the AND/OR space and then extracts a new sample mean from the stored samples. We prove that AND/OR importance sampling may have lower variance than importance sampling; thereby providing a theoretical justification for preferring it over importance sampling. Our empirical evaluation demonstrates that AND/OR importance sampling is far more accurate than importance sampling in many cases.

研究动机与目标

• 解决标准重要性采样在概率图模型中高方差的问题。
• 提高贝叶斯网络及类似模型中推理的采样效率和准确性。
• 通过AND/OR搜索空间分解，提供一种理论基础坚实的替代标准重要性采样的方法。
• 通过实证结果证明，所提方法能以更少的样本实现更高的估计准确性。

提出的方法

• 该方法构建一个AND/OR搜索树，以表示联合概率分布的因子分解。
• 样本在AND/OR树的内部节点处被缓存，以保留依赖关系和条件结构。
• 通过遍历AND/OR树并使用加权贡献聚合缓存样本，计算新的样本均值。
• 该算法在AND/OR结构内使用重要性采样，根据提议分布和目标分布对样本进行重加权。
• 通过利用模型中的条件独立性和结构分解实现方差降低。
• 该方法允许在不同查询变量之间更高效地重用样本，减少冗余。

实验结果

研究问题

• RQ1 在AND/OR搜索空间中缓存样本是否能降低概率推理中的方差？
• RQ2 AND/OR重要性采样与标准重要性采样在估计准确性方面有何比较？
• RQ3 AND/OR重要性采样相对于标准重要性采样的理论方差降低保证是什么？
• RQ4 AND/OR重要性采样在哪类图模型中表现出最大改进？
• RQ5 该方法能否在大规模复杂贝叶斯网络中有效扩展？

主要发现

• 由于结构化缓存和样本重用，AND/OR重要性采样相比标准重要性采样实现了显著更低的方差。
• 实证结果表明，AND/OR重要性采样在多个基准贝叶叶斯网络中，以更少的样本提供了更准确的估计。
• 该方法在具有高度条件独立结构的模型中表现出一致的估计准确性提升。
• 理论分析证明，在特定条件下，AND/OR重要性采样可具有低于标准重要性采样的方差。
• 由于高效的样本重用和方差降低，该方法在复杂模型中比标准重要性采样具有更好的可扩展性。