[论文解读] Bayesian Post-Selection Inference in the Linear Model

Snigdha Panigrahi, Jonathan Taylor+1 more|arXiv (Cornell University)|May 28, 2016

Statistical Methods and Bayesian Inference参考文献 6被引用 9

一句话总结

本文通过将先验与截断似然函数结合，提出了一种贝叶斯框架，用于线性模型中的选择后推断，其中截断似然函数考虑了模型选择的影响，并利用凸近似使原本计算上不可行的截断似然函数变得可计算。该方法不仅支持假设检验，还可用于点估计等多样化推断任务，同时在保持计算可行性的同时，紧密逼近精确的选择后推断程序。

ABSTRACT

We provide Bayesian inference for a linear model selected after observing the data. Adopting \citet{yekutieli2012adjusted}'s ideas, the Bayesian model consists of a prior and a truncated likelihood. The resulting posterior distribution, unlike in the setup usually considered when performing Bayesian variable selection, is affected by the very fact that selection was applied. After proposing an extension of \citeauthor{yekutieli2012adjusted}'s framework to the case of variable selection, we turn to face the computational challenges associated with the adjusted posterior distribution. A major objection is the intractability of the truncated likelihood. At the core of our methods is a convex approximation to the truncated likelihood, which facilitates sampling from the (approximate) adjusted posterior distribution. We demonstrate in simulations that employing the proposed approximation results in Bayesian procedures that are qualitatively similar to those using the exact truncated likelihood. Our methods are discussed in the context of recent literature on exact post-selection inference after model selection. These recent works focus on hypothesis testing, and capitalize on reductions achieved by conditioning out nuisance parameters. However, the techniques developed in that venue are generally less appropriate for addressing other questions, like point estimation. On the other hand, relying on an approximation to the full truncated likelihood, the tools we develop allow for more versatility. For example, replacing the genuine truncated likelihood by its approximation, we can approximate the maximum-likelihood estimate as the MAP estimate corresponding to a constant prior. We provide more examples in which our approximation can be employed to address frequentist questions that have not been resolved in existing work on exact post-selection inference.

研究动机与目标

• 解决在模型选择后进行有效贝叶斯推断的挑战，因为传统方法因选择引起的偏差而失效。
• 将 Yekutieli 和 Benjamini（2012）的调整似然框架扩展到贝叶斯设置中，将选择效应纳入后验分布。
• 通过凸近似方法克服选择后贝叶斯推断中截断似然函数的计算不可行性。
• 拓展选择后推断的应用范围，包括点估计和与频率学派兼容的程序，超越现有精确推断方法的局限。

提出的方法

• 本文构建了一个贝叶斯模型，使用先验和截断似然函数，以编码模型选择发生的事实，确保后验分布反映选择偏差。
• 提出对计算上不可行的截断似然函数进行凸近似，从而实现对近似调整后验分布的高效抽样。
• 该近似使得最大似然估计可作为均匀先验下的MAP估计恢复，从而建立贝叶斯与频率学派推断之间的联系。
• 通过用凸近似替代精确的截断似然函数，该方法支持灵活的推断任务，如估计和区间构造。
• 使用MCMC或其他蒙特卡洛方法从近似后验中抽样，且该近似确保了计算上的可行性。
• 通过模拟验证了该框架，结果表明其与精确截断似然方法在定性上相似，证实了其实际效用。

实验结果

研究问题

• RQ1 当模型是基于数据选择而非预先指定时，如何对贝叶斯推断进行正确校准？
• RQ2 对截断似然的凸近似是否能够实现线性模型中计算可行且统计有效的选择后推断？
• RQ3 所提出的近似在多大程度上保留了精确选择后推断的性质，特别是对于点估计？
• RQ4 本文开发的贝叶斯框架是否能够支持超越假设检验的推断任务，如估计和区间构造？
• RQ5 在有限样本中，近似后验的表现与精确截断后验相比如何？

主要发现

• 对截断似然的凸近似使得从调整后验中高效抽样成为可能，从而实现了计算上可行的贝叶斯选择后推断。
• 模拟结果表明，近似后验的结果在定性上与使用精确截断似然获得的结果相似。
• 该方法使得最大似然估计可被解释为常数先验下的MAP估计，从而在贝叶斯与频率学派推断之间建立桥梁。
• 该框架支持的推断任务范围比现有精确选择后推断方法更广，后者主要局限于假设检验。
• 该方法提供了一种灵活的工具，可用于点估计和置信区间构造等任务，这些任务在当前精确推断框架中仍具挑战性。