[论文解读] Marginal Likelihood Integrals for Mixtures of Independence Models

Shaowei Lin, Bernd Sturmfels+1 more|ArXiv.org|May 23, 2008

Bayesian Methods and Mixture Models参考文献 17被引用 16

一句话总结

本文提出了一套精确的代数算法，用于在小样本量下计算贝叶斯统计中混合独立性模型的边际似然积分。通过利用几何组合学和牛顿多面体上的符号积分，作者精确计算出有理数值的边际似然，展示了在通常认为需要数值近似的情况下，精确计算的可行性。

ABSTRACT

Inference in Bayesian statistics involves the evaluation of marginal likelihood integrals. We present algebraic algorithms for computing such integrals exactly for discrete data of small sample size. Our methods apply to both uniform priors and Dirichlet priors. The underlying statistical models are mixtures of independent distributions, or, in geometric language, secant varieties of Segre-Veronese varieties.

研究动机与目标

• 开发用于小样本量离散数据贝叶斯推断中边际似然积分的精确计算方法。
• 解决长期以来认为边际似然精确计算在平凡情况之外不可行的假设。
• 将计算代数几何应用于统计模型，特别是Segre-Veronese多面体的切触簇。
• 实现在中等维度和样本量下精确计算贝叶斯因子和后验矩。
• 提供一个符号框架，用于计算有理数值积分，而非浮点近似值。

提出的方法

• 将模型混合分布表示为Segre-Veronese多面体的切触簇，通过牛顿多面体代数表示。
• 将被积函数表示为13维概率单纯形上的多元多项式，其单项式对应于一个平行多面体中的格点。
• 通过Dirichlet积分进行符号积分：∫∏π^a₁τ^a₂λ^uρ^v dπdτdλdρ = (a₁!a₂!)/(a₁+a₂+1)! × ∏(3!∏uᵢ!)/(∑uᵢ+3)!，适用于每个单纯形分量。
• 通过在被积函数的牛顿平行多面体中所有格点上求和，利用几何组合学计算边际似然。
• 在Maple中实现算法，枚举格点并精确计算有理积分。
• 将Dirichlet先验纳入框架，并通过精确边际似然的有理比值计算贝叶斯因子。

实验结果

研究问题

• RQ1 对于小样本量，混合独立性模型的边际似然积分能否精确计算而非数值近似？
• RQ2 这些积分计算背后的代数与几何结构是什么？如何在算法上加以利用？
• RQ3 符号积分在多大程度上可以替代马尔可夫链蒙特卡洛（MCMC）或吉布斯抽样等蒙特卡洛方法用于贝叶斯模型比较？
• RQ4 与BIC或拉普拉斯近似等数值近似方法相比，精确的有理数边际似然在准确性上如何？
• RQ5 在中等维度和适度样本量下，能否实现后验矩和贝叶斯因子的精确计算？

主要发现

• 4×4列联表（2）的边际似然被精确计算为一个有理数，其分子和分母虽大但有限，证实了精确积分的可行性。
• 在4×4示例中，精确值为 571·773426813·17682039596993·625015426432626533 / (2³¹·3²⁰·5¹²·7¹¹·11⁸·13⁷·17⁵·19⁵·23⁵·29³·31³·37³·41³·43²)，展示了精确的有理数输出。
• 被积函数展开中的单项式数量为3,892,097个，远少于朴素上界332,150,625个，使得枚举成为可行。
• 在3×3医院住院时间数据示例（U）中，边际似然被计算为一个分子和分母大小适中的有理数，经多项式系数缩放后得到最终边际似然。
• 3×3数据集的精确边际似然是一个有理数，其分子为127位，分母为256位，表明即使在中等N下，精确结果也可计算。
• 该方法优于数值近似：精确对数边际似然（-22.1085）比BIC（-22.431）和拉普拉斯近似（-22.397）更准确，验证了符号方法的有效性。