[论文解读] Large Deviation Methods for Approximate Probabilistic Inference

Michael Kearns, Lawrence K. Saul|arXiv (Cornell University)|Jan 30, 2013

Bayesian Modeling and Causal Inference参考文献 9被引用 51

一句话总结

本文利用大偏差方法，推导出具有二值变量和单调条件概率函数的大规模两层信念网络中边缘概率的严格上下界。通过利用大偏差理论，该研究建立了这些边界在不同网络规模下的收敛速率，适用于常见的参数化形式（如Sigmoid函数和noisy-OR模型），揭示了平均化行为如何简化大规模网络中的推理过程。

ABSTRACT

We study two-layer belief networks of binary random variables in which the conditional probabilities Pr[childlparents] depend monotonically on weighted sums of the parents. In large networks where exact probabilistic inference is intractable, we show how to compute upper and lower bounds on many probabilities of interest. In particular, using methods from large deviation theory, we derive rigorous bounds on marginal probabilities such as Pr[children] and prove rates of convergence for the accuracy of our bounds as a function of network size. Our results apply to networks with generic transfer function parameterizations of the conditional probability tables, such as sigmoid and noisy-OR. They also explicitly illustrate the types of averaging behavior that can simplify the problem of inference in large networks.

研究动机与目标

• 解决在具有二值变量的大规模两层信念网络中精确概率推理不可行的问题。
• 开发计算上可行的方法，用于近似大规模网络中的边缘概率（如Pr[children]）。
• 利用大偏差理论推导这些概率的严格上下界。
• 表征边界随网络规模增大而收敛的速率。
• 说明大规模网络中父节点的平均化行为如何简化推理问题。

提出的方法

• 利用大偏差理论分析两层信念网络中父节点变量加权和的尾部行为。
• 应用Cramér定理及相关的大偏差原理，推导网络中罕见事件概率的指数边界。
• 基于父节点配置的矩生成函数，推导边缘概率Pr[children]的上下界。
• 考虑通用的单调转移函数（如Sigmoid函数和noisy-OR函数）用于参数化条件概率。
• 利用大偏差理论中的速率函数，建立边界精度随网络规模变化的收敛速率。
• 将网络视为一组相互作用的随机变量系统，其中父节点影响的总和决定子节点的概率。

实验结果

研究问题

• RQ1 在精确推理不可行的大规模两层信念网络中，如何高效地边界化边缘概率？
• RQ2 这些边界的理论精度如何？随着网络规模增大，它们的收敛性如何？
• RQ3 哪些类型的网络结构和条件概率参数化方式允许此类边界？
• RQ4 父节点变量的平均化行为如何简化大规模网络中的推理？
• RQ5 大偏差技术能否为实际推理任务提供严格且非渐近的边界？

主要发现

• 本文利用大偏差原理，推导出边缘概率（如Pr[children]）的严格上下界。
• 建立了边界精度随网络规模变化的收敛速率，误差概率呈指数衰减。
• 这些边界适用于通用的单调参数化形式，包括Sigmoid函数和noisy-OR函数。
• 该方法揭示了大规模网络中平均化效应导致测度集中，从而简化推理。
• 大偏差理论中的速率函数量化了边界的精度，并支持在不同网络配置间进行比较。
• 该方法为大规模概率网络中可扩展的、近似推理提供了理论基础，并具备可证明的误差控制能力。