[论文解读] Approximate Knowledge Compilation by Online Collapsed Importance Sampling

Tal Friedman, Guy Van den Broeck|arXiv (Cornell University)|May 31, 2018

Bayesian Modeling and Causal Inference参考文献 14被引用 5

一句话总结

本文提出在线坍缩重要性采样与坍缩编译，这是一种用于离散概率图模型的新型近似推理方法，能够基于部分实例化动态选择需采样的变量，利用部分编译的算术电路作为高效的提议分布。当精确推理资源受限时，该方法在多个基准测试中优于最先进方法，尤其在具有上下文特定独立性的模型中表现更优。

ABSTRACT

We introduce collapsed compilation, a novel approximate inference algorithm for discrete probabilistic graphical models. It is a collapsed sampling algorithm that incrementally selects which variable to sample next based on the partial sample obtained so far. This online collapsing, together with knowledge compilation inference on the remaining variables, naturally exploits local structure and context- specific independence in the distribution. These properties are naturally exploited in exact inference, but are difficult to harness for approximate inference. More- over, by having a partially compiled circuit available during sampling, collapsed compilation has access to a highly effective proposal distribution for importance sampling. Our experimental evaluation shows that collapsed compilation performs well on standard benchmarks. In particular, when the amount of exact inference is equally limited, collapsed compilation is competitive with the state of the art, and outperforms it on several benchmarks.

研究动机与目标

• 为解决在具有复杂结构（如上下文特定独立性与局部确定性）的离散概率图模型中高效执行近似推理的挑战。
• 克服传统坍缩采样方法的局限性，后者需预先选择采样变量并依赖手动指定的提议分布。
• 开发一种方法，动态选择采样过程中需坍缩的变量，以适应先前采样值的上下文。
• 将知识编译集成到采样过程中，利用部分编译的电路作为高质量的提议分布，以降低方差。
• 通过限制电路大小并支持近似推理，实现对更大模型的知识编译扩展，同时保留对结构特性的利用。

提出的方法

• 在线坍缩重要性采样基于当前部分实例化动态选择下一个采样变量，通过将其视为在扩展模型上的坍缩采样，确保渐近无偏性。
• 该方法从模型的因子逐步构建算术电路，保持部分编译表示，以支持对剩余变量的高效精确推理。
• 重要性采样的提议分布源自当前部分编译电路的状态，该状态会随已采样变量的上下文自适应调整。
• 变量选择策略（如 MinEnt、RBVar 和 SS）指导在线坍缩过程，优先选择能降低剩余推理复杂度的变量。
• 该算法对电路大小施加内存限制，自动决定需采样的变量数量，以确保编译的可行性。
• 通过将在线坍缩与知识编译结合，该方法自然地利用了局部结构与上下文特定独立性，而这些在标准近似推理中难以有效利用。

实验结果

研究问题

• RQ1 在线坍缩采样中的变量选择能否提升概率图模型近似推理的效率与准确性？
• RQ2 如何将知识编译集成到在线采样框架中，以构建高质量且自适应的提议分布？
• RQ3 与固定坍缩策略相比，动态坍缩在多大程度上能更有效地利用上下文特定独立性与局部结构？
• RQ4 当精确推理资源受限时，坍缩编译的性能与最先进近似推理算法相比如何？
• RQ5 该方法在具有密集环路或大量确定性因子的挑战性模型中是否表现出鲁棒性，这些模型中信念传播会失效？

主要发现

• 在标准基准测试中，当精确推理计算预算受限时，坍缩编译的性能与 EDBP 和 samplesearch 等最先进方法相当。
• 在 DBN 基准测试中，使用 RBVar 或 MinEnt 策略的坍缩编译优于 EDBP 和 samplesearch，表明在高度连接模型中自适应变量选择的优势。
• 在 frust16 Ising 模型中，坍缩编译收敛至正确解，而 samplesearch 产生有偏估计，凸显该方法对信念传播中病态收敛的鲁棒性。
• 在 ProbLog 基准测试中，12x12 网格与确定性因子下，坍缩编译的 Hellinger 距离低于 EDBP，后者因确定性因子过多而无法收敛。
• samplesearch 在 ProbLog 实例中始终产生相同的错误边际，而坍缩编译在多次运行中一致收敛至真实值，表明其偏差更低。
• 该方法的性能对变量选择策略敏感，MinEnt 与 RBVar 策略表现最佳，尤其在少数关键变量能显著简化剩余推理的模型中。