[论文解读] Asymptotic Approximation of Marginal Likelihood Integrals

Shaowei Lin|arXiv (Cornell University)|Mar 28, 2010

Polynomial and algebraic computation参考文献 23被引用 16

一句话总结

本文提出了一种渐近方法，通过将问题转化为利用计算代数几何计算多项式理想的实对数奇异指数（RLCT）来近似贝叶斯统计中的边际似然积分。利用奇点解耦方法，该方法能够对具有实解析参数化的所有离散指数族模型准确评估边际似然，为贝叶斯模型比较中的一个长期难题提供了系统且高效解决方案。

ABSTRACT

The accurate asymptotic evaluation of marginal likelihood integrals is a fundamental problem in Bayesian statistics. Following the approach introduced by Watanabe, we translate this into a problem of computational algebraic geometry, namely, to determine the real log canonical threshold of a polynomial ideal, and we present effective methods for solving this problem. Our results are based on resolution of singularities, and they apply to all statistical models for discrete data that admit a parametrization by real analytic functions.

研究动机与目标

• 解决贝叶斯模型比较中渐近评估边际似然积分的根本挑战。
• 将边际似然评估问题转化为涉及多项式理想的计算代数几何问题。
• 开发有效算法以计算实对数奇异指数（RLCT），这是渐近边际似然近似中的关键量。
• 将渐近方法的适用范围扩展至所有具有实解析参数化的离散统计模型。

提出的方法

• 该方法将边际似然积分简化为从模型似然和先验中导出的多项式理想的实对数奇异指数（RLCT）的计算。
• 它利用奇点解耦来分析似然-先验乘积的奇点，从而实现对积分的精确渐近展开。
• 该方法借助代数几何工具计算RLCT，无需显式积分，而是依赖于几何和代数不变量。
• 该算法框架具有普遍性，适用于所有具有实解析参数化的离散指数族模型。
• 通过利用参数空间中奇点的结构，该方法在大样本极限下确保收敛性和准确性。
• 通过符号计算技术实现解决方案，从解耦数据中提取RLCT。

实验结果

研究问题

• RQ1 如何以既准确又计算可行的方式对一般离散模型的边际似然积分进行渐近近似？
• RQ2 控制贝叶斯模型中边际似然渐近行为的代数-几何不变量是什么？
• RQ3 能否对所有实解析统计模型有效计算实对数奇异指数（RLCT）？
• RQ4 奇点解耦如何实现边际似然渐近展开的推导？
• RQ5 模型参数空间的几何结构与渐近边际似然之间有何关联？

主要发现

• 实对数奇异指数（RLCT）是决定贝叶斯模型中边际似然积分渐近行为的核心量。
• RLCT 可通过奇点解耦算法化计算，为渐近边际似然评估提供系统方法。
• 该方法普遍适用于所有具有实解析参数化的离散统计模型，包括指数族。
• 边际似然的渐近近似由 RLCT 和样本大小决定，收敛速度由奇点结构决定。
• 该方法在高维和奇异模型中实现了准确的模型比较，而标准拉普拉斯近似在此类情况下会失效。