[论文解读] Marginal likelihood computation for model selection and hypothesis testing: an extensive review

Fernando Llorente, Luca Martino+2 more|arXiv (Cornell University)|May 17, 2020

Bayesian Methods and Mixture Models参考文献 95被引用 6

一句话总结

本文对贝叶斯模型选择与假设检验中边际似然估计的计算方法提供了全面且最新的综述。系统比较了重要性采样（IS）、桥接采样、路径采样、嵌套采样及分层自适应重要性采样（LAIS）等技术，阐明了它们的优势、局限性及其相互关系，特别强调了鲁棒性、无偏估计以及基于MCMC输出的实际实现。

ABSTRACT

This is an up-to-date introduction to, and overview of, marginal likelihood computation for model selection and hypothesis testing. Computing normalizing constants of probability models (or ratio of constants) is a fundamental issue in many applications in statistics, applied mathematics, signal processing and machine learning. This article provides a comprehensive study of the state-of-the-art of the topic. We highlight limitations, benefits, connections and differences among the different techniques. Problems and possible solutions with the use of improper priors are also described. Some of the most relevant methodologies are compared through theoretical comparisons and numerical experiments.

研究动机与目标

• 提供当前最先进的边际似然计算方法（贝叶斯证据）在模型选择与假设检验中的统一、最新概述。
• 阐明基于重要性采样、MCMC及退火技术的各类计算方法之间的关系、差异及其相对性能。
• 解决关键问题，如不当先验的使用及其对边际似然估计的影响。
• 通过理论分析与数值实验评估并比较各类方法，强调稳定性、效率与无偏性。
• 为选择与实现边际似然估计器提供实用指导，尤其针对MCMC输出的后处理。

提出的方法

• 将边际似然估计技术分为四类主要方法：确定性近似、重要性采样（IS）、IS中的MCMC方法，以及基于退火后验的算法。
• 在统一符号体系下回顾并整合多种方法，包括拉普拉斯近似、BIC、核密度估计（KDE）、Chib方法与桥接采样。
• 分析高级混合方法，如分层自适应重要性采样（LAIS），该方法通过利用后验样本构建自适应提议分布，结合MCMC与IS的优势。
• 评估路径采样（PS）、步进石采样（SS）与热化重要性采样（An-IS），这些方法通过一系列退火后验来估计边际似然。
• 讨论顺序蒙特卡洛（SMC）与嵌套采样的应用，强调其对似然的隐式优化，以及从截断先验中抽样的挑战。
• 强调SS、An-IS、SMC与LAIS等方法可提供边际似然或其对数的无偏估计，具有重要的理论优势。

实验结果

研究问题

• RQ1 哪些边际似然估计计算技术在准确性、稳定性与计算效率之间提供了最佳平衡？
• RQ2 基于重要性采样的不同方法（如桥接采样、RIS、LAIS）在方差与提议分布选择的鲁棒性方面如何比较？
• RQ3 在边际似然计算中使用不当先验的理论与实际影响是什么？这些问题如何缓解？
• RQ4 基于退火后验的方法（如SS、PS、An-IS）在性能与温度路径设计的敏感性方面如何比较？
• RQ5 在何种场景下嵌套采样或IS中的MCMC方法更为合适？它们与直接IS或基于KDE的方法相比如何？

主要发现

• 步进石方法（SS）在温度路径选择上比路径采样（PS）或幂后验（PP）更具鲁棒性，且无需多个退火后验。
• 分层自适应重要性采样（LAIS）结合了后验定位（如HM）与标准IS的优点，相较于朴素IS与HM估计器，提供了更高的稳定性和效率。
• 桥接采样与RIS需要额外的样本，但其估计比已知极不稳定的HM估计器更稳定。
• SS、An-IS、SMC与LAIS等方法可提供边际似然或其对数的无偏估计，具有显著的理论优势。
• Chib方法与MTM（带多 proposal 的Metropolis-Hastings）可应用于MCMC输出，但需谨慎实现，若提议分布非独立则可能不鲁棒。
• HM估计器极不稳定，而NMC（朴素蒙特卡洛）因基于先验抽样而效率低下；LAIS与SS在效率与稳定性方面均表现更优，处于两者之间。