[论文解读] Any-Space Probabilistic Inference

Adnan Darwiche|arXiv (Cornell University)|Jan 16, 2013

Bayesian Modeling and Causal Inference参考文献 9被引用 11

一句话总结

本文提出了一种名为任意空间概率推理（Any-Space Probabilistic Inference）的新方法，它是递归条件化（Recursive Conditioning, RC）的扩展，可在概率模型中实现精确推理的平滑时空权衡。该方法将RC推广至任意因子分解形式，引入遗忘机制以减少空间使用，并提出首个支持增量查询且具备可调时空权衡的MAP推理算法，在真实网络上实现了数量级的空间节省。

ABSTRACT

We have recently introduced an any-space algorithm for exact inference in Bayesian networks, called Recursive Conditioning, RC, which allows one to trade space with time at increments of X-bytes, where X is the number of bytes needed to cache a floating point number. In this paper, we present three key extensions of RC. First, we modify the algorithm so it applies to more general factorization of probability distributions, including (but not limited to) Bayesian network factorizations. Second, we present a forgetting mechanism which reduces the space requirements of RC considerably and then compare such requirmenets with those of variable elimination on a number of realistic networks, showing orders of magnitude improvements in certain cases. Third, we present a version of RC for computing maximum a posteriori hypotheses (MAP), which turns out to be the first MAP algorithm allowing a smooth time-space tradeoff. A key advantage of presented MAP algorithm is that it does not have to start from scratch each time a new query is presented, but can reuse some of its computations across multiple queries, leading to significant savings in ceratain cases.

研究动机与目标

• 将递归条件化（RC）扩展至适用于贝叶斯网络以外的一般概率因子分解。
• 通过一种新颖的遗忘机制减少RC的空间复杂度，该机制可丢弃冗余的中间因子。
• 开发首个支持平滑时空权衡与跨多个查询的增量计算的MAP推理算法。
• 在真实网络上对改进后的RC与变量消除法进行经验比较，验证其在空间需求上的显著提升。

提出的方法

• 将RC扩展至适用于概率分布的任意因子分解，不再局限于贝叶斯网络结构。
• 引入一种遗忘机制，在推理过程中选择性地丢弃中间因子，以减少空间使用。
• 设计一种时空权衡机制，允许以X字节为单位进行空间与时间的交换，其中X为单个浮点数的大小。
• 通过修改组合与最大化操作，将RC适配用于MAP推理，以支持最大后验解释的计算。
• 通过重用多个查询之间的缓存中间结果，实现增量推理，避免从零开始重新计算。
• 将该算法应用于真实世界的贝叶斯网络，并与变量消除法比较其空间效率。

实验结果

研究问题

• RQ1 递归条件化能否推广至适用于任意概率分布因子分解，而不仅限于贝叶斯网络？
• RQ2 遗忘机制在不牺牲正确性的前提下，对RC的空间需求减少效果如何？
• RQ3 能否设计一种支持平滑时空权衡与增量查询处理的MAP推理算法？
• RQ4 在真实网络上，改进后的RC相较于变量消除法在空间使用上能实现多大程度的节省？
• RQ5 缓存的中间结果在多个查询之间能多大程度上被重用，以加速推理？

主要发现

• 遗忘机制在某些真实贝叶斯网络中将RC的空间需求减少了数个数量级，显著优于变量消除法。
• 所提出的MAP推理算法支持平滑的时空权衡，并能实现查询间计算的重用，从而在重复查询场景下带来显著的性能提升。
• 广义化的RC算法成功处理了任意概率因子分解，使其适用范围超越了贝叶斯网络。
• 实证评估表明，改进后的RC在基准网络上相较于变量消除法实现了高达数个数量级的空间节省。
• 该算法在保持正确性的同时支持可调内存使用，空间使用可按单个浮点数大小为单位进行调整。