[论文解读] Model Selection for Likelihood-free Bayesian Methods Based on Moment Conditions: Theory and Numerical Examples

Cheng Li, Wenxin Jiang|arXiv (Cornell University)|May 26, 2014

Statistical Methods and Bayesian Inference参考文献 80被引用 8

一句话总结

本文提出一种基于贝叶斯广义方法矩（BGMM）的似然-free方法中的贝叶斯模型选择方法，利用准后验概率实现后验推断与MCMC计算。该方法建立了理论一致性与一个oracle性质，表明该方法在渐近意义上可识别真实模型，并获得如同已知真实模型时的高效、正态后验分布。

ABSTRACT

An important practice in statistics is to use robust likelihood-free methods, such as the estimating equations, which only require assumptions on the moments instead of specifying the full probabilistic model. We propose a Bayesian avored model selection approach for such likelihood-free methods, based on (quasi-)posterior probabilities from the Bayesian Generalized Method of Moments (BGMM). This novel concept allows us to incorporate two important advantages of a Bayesian approach: the expressiveness of posterior distributions and the convenient computational method of MCMC. Many different applications are possible, including modeling the correlated longitudinal data, the quantile regression, and the graphical models based on partial correlation. We demonstrate numerically how our method works in these applications. Under mild conditions, we show that theoretically the BGMM can achieve the posterior consistency for selecting the unknown true model, and that it possesses a Bayesian version of the oracle property, i.e. the posterior distribution for the parameter of interest is asymptotically normal and is as informative as if the true model were known. In addition, we show that the proposed quasi-posterior is valid to be interpreted as an approximate conditional distribution given a data summary.

研究动机与目标

• 开发一种适用于全似然不可计算的似然-free场景下的贝叶斯模型选择框架。
• 利用矩条件而非完整概率模型，实现在纵向、分位数回归与图模型等复杂模型中的稳健推断。
• 确保准后验作为给定数据摘要的近似条件分布的理论有效性。
• 在较弱正则性条件下，建立参数估计的后验一致性与oracle性质。
• 提供一种计算上可行的方法，利用MCMC实现高维或复杂模型中的后验推断。

提出的方法

• 提出一种基于贝叶斯广义方法矩（BGMM）的框架，从矩条件而非完整似然构造准后验分布。
• 基于矩约束的估计方程定义用于模型比较的准似然函数。
• 应用MCMC方法从BGMM推导出的准后验分布中进行抽样，实现完整的贝叶斯推断。
• 在较弱正则性条件下推导出后验一致性，确保该方法渐近选择真实模型。
• 建立贝叶斯oracle性质：感兴趣参数的后验分布渐近正态，且效率与真实模型下相同。
• 验证准后验作为给定充分数据摘要的条件分布的有意义近似。

实验结果

研究问题

• RQ1 能否仅基于矩条件，为似然-free方法开发一种贝叶斯模型选择方法？
• RQ2 所提出的BGMM框架是否在选择真实模型时具有后验一致性？
• RQ3 BGMM后验是否具有oracle性质，即在渐近意义上具有正态性与效率，如同已知真实模型一般？
• RQ4 准后验能否被解释为给定数据摘要的条件分布的有效近似？
• RQ5 该方法在纵向数据分析、分位数回归与图模型等实际应用中的表现如何？

主要发现

• BGMM方法实现了后验一致性，即随着样本量增加，准后验概率逐渐集中在真实模型上。
• 该方法表现出贝叶斯oracle性质：感兴趣参数的后验分布渐近正态，且达到最小可能方差，如同已知真实模型一般。
• 准后验在理论上是给定数据摘要的条件分布的有效近似，支持一致的贝叶斯解释。
• 数值例子表明，该方法在建模相关纵向数据、分位数回归及基于偏相关性的图模型中均表现出有效性。
• 该方法支持MCMC计算，使其在全似然不可计算的复杂模型中具有实际可行性。
• 理论结果在较弱正则性条件下成立，增强了该方法在各类统计模型中的适用性。