[论文解读] Bayesian model selection consistency and oracle inequality with intractable marginal likelihood

Yun Yang, Debdeep Pati|arXiv (Cornell University)|Jan 2, 2017

Bayesian Methods and Mixture Models参考文献 2被引用 15

一句话总结

本文在弱可识别性和先验反集中条件下，针对边际似然不可计算的情形，建立了贝叶斯模型选择的频率一致性及Oracle不等式。引入了局部贝叶斯复杂度以刻画后验集中度的自适应性，证明了在高维非参数回归与密度回归中模型选择的一致性及最优后验收敛速率。

ABSTRACT

In this article, we investigate large sample properties of model selection procedures in a general Bayesian framework when a closed form expression of the marginal likelihood function is not available or a local asymptotic quadratic approximation of the log-likelihood function does not exist. Under appropriate identifiability assumptions on the true model, we provide sufficient conditions for a Bayesian model selection procedure to be consistent and obey the Occam's razor phenomenon, i.e., the probability of selecting the "smallest" model that contains the truth tends to one as the sample size goes to infinity. In order to show that a Bayesian model selection procedure selects the smallest model containing the truth, we impose a prior anti-concentration condition, requiring the prior mass assigned by large models to a neighborhood of the truth to be sufficiently small. In a more general setting where the strong model identifiability assumption may not hold, we introduce the notion of local Bayesian complexity and develop oracle inequalities for Bayesian model selection procedures. Our Bayesian oracle inequality characterizes a trade-off between the approximation error and a Bayesian characterization of the local complexity of the model, illustrating the adaptive nature of averaging-based Bayesian procedures towards achieving an optimal rate of posterior convergence. Specific applications of the model selection theory are discussed in the context of high-dimensional nonparametric regression and density regression where the regression function or the conditional density is assumed to depend on a fixed subset of predictors. As a result of independent interest, we propose a general technique for obtaining upper bounds of certain small ball probability of stationary Gaussian processes.

研究动机与目标

• 在边际似然不可计算或缺乏局部二次逼近的情况下，建立贝叶斯模型选择程序的频率一致性。
• 在弱可识别性和非正则模型条件下，形式化贝叶斯模型选择中的奥卡姆剃刀现象。
• 引入局部贝叶斯复杂度的概念，以刻画后验集中度中逼近误差与模型复杂度之间的权衡。
• 推导反映后验收敛速率自适应行为的贝叶斯Oracle不等式。
• 将该理论应用于固定预测变量子集的高维非参数回归与密度回归。

提出的方法

• 提出先验反集中条件，以确保大模型不会在真实模型邻域内分配过量的先验质量。
• 引入局部贝叶斯复杂度作为依赖于模型空间在真实值附近局部几何结构的模型复杂度度量。
• 推导出一个平衡逼近误差与局部模型复杂度的贝叶斯Oracle不等式，从而获得最优后验集中速率。
• 将该理论应用于高维非参数回归与密度回归，其中回归函数或条件密度依赖于固定预测变量子集。
• 发展了一种通用技术，用于界定平稳高斯过程的小球概率，以支持理论分析。
• 利用平稳核函数的谱分解（通过Mercer定理与傅里叶级数）刻画协方差算子的特征值与特征函数。

实验结果

研究问题

• RQ1 当边际似然不可计算时，在何种条件下贝叶斯模型选择能一致地选择包含真实数据生成模型的最小模型？
• RQ2 在弱可识别性和非正则模型条件下，如何形式化证明贝叶斯模型选择中的奥卡姆剃刀现象？
• RQ3 在高维设定下，先验反集中条件在确保模型选择一致性方面起什么作用？
• RQ4 如何定义并应用局部贝叶斯复杂度，以在非正则模型中推导后验集中度的Oracle不等式？
• RQ5 所提出的框架能否在高维非参数回归与密度回归中实现最优后验收敛速率？

主要发现

• 在先验反集中条件下建立了模型选择一致性，确保随着样本量增加，最小真实模型的后验概率趋于1。
• 本文证明了贝叶斯模型选择程序遵循奥卡姆剃刀原则，在适当的可识别性与先验条件下，以趋于1的概率选择最小真实模型。
• 提出了一种新的局部贝叶斯复杂度概念，用于量化真实值附近的模型有效复杂度，并支持Oracle不等式的推导。
• 贝叶斯Oracle不等式刻画了逼近误差与局部模型复杂度之间的权衡，从而获得最优后验集中速率。
• 对于平方指数核，当 $ a $ 满足适当条件时，特征值以 $ a^{-1}e^{-j^2/a^2} $ 速度衰减（$ j \neq 0 $）；对于Matérn核，特征值以 $ a^{-1}(1 + j^2/a^2)^{-(\nu+1/2)} $ 速度衰减。
• 通过谱分析界定了平稳高斯过程的小球概率，支持了后验集中理论的发展。