[论文解读] Gaussian Probabilities and Expectation Propagation

John P. Cunningham, Philipp Hennig+1 more|arXiv (Cornell University)|Nov 29, 2011

Gaussian Processes and Bayesian Inference参考文献 45被引用 41

一句话总结

本文研究了期望传播（EP）方法在矩形区域和多面体区域上近似多元正态概率的性能。结果表明，EP在矩形区域上能提供高度精确的近似，但在一般多面体区域上可能产生任意不准确的结果，揭示了EP在该类问题中可靠性的关键局限性。

ABSTRACT

While Gaussian probability densities are omnipresent in applied mathematics, Gaussian cumulative probabilities are hard to calculate in any but the univariate case. We study the utility of Expectation Propagation (EP) as an approximate integration method for this problem. For rectangular integration regions, the approximation is highly accurate. We also extend the derivations to the more general case of polyhedral integration regions. However, we find that in this polyhedral case, EP's answer, though often accurate, can be almost arbitrarily wrong. We consider these unexpected results empirically and theoretically, both for the problem of Gaussian probabilities and for EP more generally. These results elucidate an interesting and non-obvious feature of EP not yet studied in detail.

研究动机与目标

• 评估期望传播（EP）在一般积分区域上近似多元正态概率的准确性和可靠性。
• 研究EP是否能在高维空间中可靠地近似高斯累积概率，特别是针对多面体区域的情况。
• 理解EP在截断高斯分布上的理论与经验行为，特别是在区域非矩形时的表现。
• 识别EP在其他情况下看似准确时仍可能灾难性失败的条件。
• 为EP在高斯积分问题近似贝叶斯推断中的非显而易见局限性提供洞见。

提出的方法

• 本文将目标分布建模为区域𝒜上的截断高斯分布，𝒜由线性约束定义，并应用EP来近似归一化常数，该常数对应于所需的高斯概率F(𝒜)。
• EP通过迭代地使用高斯消息近似每个约束对应的似然因子，更新充分统计量以匹配真实后验的矩。
• 该方法通过匹配真实截断分布与EP近似之间的零阶、一阶和二阶矩来实现矩匹配。
• 理论分析推导出EP近似误差可无限增大的条件，即使在其他情况下近似表现良好。
• 通过在不同维度和区域几何形状下进行实验验证，将EP结果与精确数值积分结果对比，涵盖矩形和多面体区域。
• 本文还将分析扩展至一般 exponential family 框架，表明EP中的KL散度最小化导致的矩匹配条件对零阶矩（即概率本身）是精确的。

实验结果

研究问题

• RQ1 期望传播能否为矩形积分区域上的多元正态概率提供准确近似？
• RQ2 当积分区域为一般多面体而非矩形时，EP的性能如何？
• RQ3 在EP在其他情况下看似准确时，其在估计高斯概率时可能产生任意大误差的条件是什么？
• RQ4 EP为何在多面体情况下会失效？这揭示了其基本假设和局限性的哪些方面？
• RQ5 关于EP在高斯积分问题近似推断中的可靠性，可得出哪些理论与经验上的洞见？

主要发现

• 对于矩形积分区域，EP能对多元正态概率提供高度精确的近似，通常与精确数值积分结果高度一致。
• 在更一般的多面体区域情况下，EP的近似可能任意不准确，即使区域接近矩形或真实概率适中。
• 本文识别出EP误差可无界增长的理论条件，证明该方法对任意多面体约束不具鲁棒性。
• 尽管在矩形情况下精度很高，EP在多面体区域上的表现揭示了一个此前未被深入记录的显著非显而易见的局限性。
• 结果表明，EP的矩匹配方法在矩形区域上虽有效，但当区域几何结构引入充分统计量中的非线性依赖时，可能灾难性地失效。
• 本研究揭示了EP理论理解中的关键空白，特别是在高斯概率估计背景下，呼吁在一般多面体区域上应用EP时保持谨慎。