[论文解读] Variational approximations of empirical Bayes posteriors in high-dimensional linear models

Yue Yang, Ryan R. Martin|arXiv (Cornell University)|Jul 31, 2020

Statistical Methods and Inference参考文献 40被引用 7

一句话总结

本文提出了一种针对高维线性模型中经验贝叶斯后验的快速变分近似方法，采用数据驱动的共轭先验并具有轻尾特性。该方法在保持最优后验集中率的同时，通过坐标上升变分推断实现高效计算，在模拟研究中优于现有方法。

ABSTRACT

In high-dimensions, the prior tails can have a significant effect on both posterior computation and asymptotic concentration rates. To achieve optimal rates while keeping the posterior computations relatively simple, an empirical Bayes approach has recently been proposed, featuring thin-tailed conjugate priors with data-driven centers. While conjugate priors ease some of the computational burden, Markov chain Monte Carlo methods are still needed, which can be expensive when dimension is high. In this paper, we develop a variational approximation to the empirical Bayes posterior that is fast to compute and retains the optimal concentration rate properties of the original. In simulations, our method is shown to have superior performance compared to existing variational approximations in the literature across a wide range of high-dimensional settings.

研究动机与目标

• 解决高维贝叶斯线性模型中稀疏回归系数下马尔可夫链蒙特卡洛（MCMC）方法带来的计算负担。
• 开发一种计算高效的MCMC替代方法，同时保持最优后验集中率。
• 克服现有变分方法的局限性，这些方法要么使用次优先验，要么在每次迭代中需要数值优化。
• 提供一种可扩展、计算快速的后验近似方法，在高维设置下保持频现最优性。

提出的方法

• 该方法采用坐标上升变分推断（CAVI）来近似经验贝叶斯后验分布。
• 其使用数据驱动的共轭先验，具有轻尾特性，且中心由数据经验确定，从而确保计算上的可处理性。
• 变分族被构建为模型子集 S 的混合，对线性预测器 ω_S = w^T β 的后验采用正态近似。
• 该算法通过利用共轭结构推导出的闭式更新迭代更新变分参数，避免使用数值求解器。
• 该方法通过与真实经验贝叶斯后验的理论性质保持一致，确保变分后验以最优速率集中。
• 真实后验与变分后验之间的总变差距离在期望下收敛于零，从而保证渐近有效性。

实验结果

研究问题

• RQ1 能否开发一种经验贝叶斯后验的变分近似方法，使其在高维线性模型中保持最优后验集中率？
• RQ2 所提出的方法是否在保持频现最优性的同时，实现比MCMC更快的计算速度？
• RQ3 使用数据驱动的、具有轻尾特性的共轭先验如何影响变分近似的准确性和收敛性？
• RQ4 随着样本量增加，变分后验能否一致地识别出真实的稀疏模型结构（即支持 S^*）？
• RQ5 与真实后验相比，由变分后验导出的可信区间具有怎样的覆盖行为？

主要发现

• 所提出的变分近似实现了最优后验集中率，与真实经验贝叶斯后验的理论保证相匹配。
• 随着样本量增加，真实后验与变分后验之间的总变差距离在期望下收敛于零，确保了渐近有效性。
• 在多种高维设置下的模拟中，该方法在性能上优于现有变分近似方法。
• 由变分后验导出的可信区间表现出恰当的频现覆盖性，即真实参数位于下分位数以下的概率收敛于名义水平。
• 使用共轭的、数据驱动的先验使得变分算法能够实现闭式更新，显著提升了计算速度，优于需要数值优化的方法。
• 随着 n → ∞，该方法以高概率成功识别出真实的模型支持 S^*，证实了变量选择的一致性。