[论文解读] A General Framework for Bayes Structured Linear Models

Chao Gao, Aad van der Vaart+1 more|arXiv (Cornell University)|Jun 6, 2015

Statistical Methods and Inference参考文献 45被引用 26

一句话总结

本文提出了一种统一的贝叶斯框架，用于高维和非参数模型，采用一种新颖的两步先验：第一步用于模型结构，第二步通过椭球拉普拉斯分布对参数进行建模。该框架在模型误设条件下建立了通用的Oracle不等式和最优后验收缩率，实现了在稀疏回归、随机块模型、图函数估计和字典学习中的最优结果，且假设条件弱于以往工作。

ABSTRACT

High dimensional statistics deals with the challenge of extracting structured information from complex model settings. Compared with the growing number of frequentist methodologies, there are rather few theoretically optimal Bayes methods that can deal with very general high dimensional models. In contrast, Bayes methods have been extensively studied in various nonparametric settings and rate optimal posterior contraction results have been established. This paper provides a unified approach to both Bayes high dimensional statistics and Bayes nonparametrics in a general framework of structured linear models. With the proposed two-step model selection prior, we prove a general theorem of posterior contraction under an abstract setting. The main theorem can be used to derive new results on optimal posterior contraction under many complex model settings including stochastic block model, graphon estimation and dictionary learning. It can also be used to re-derive optimal posterior contraction for problems such as sparse linear regression and nonparametric aggregation, which improve upon previous Bayes results for these problems. The key of the success lies in the proposed two-step prior distribution. The prior on the parameters is an elliptical Laplace distribution that is capable to model signals with large magnitude, and the prior on the models involves an important correction factor that compensates the effect of the normalizing constant of the elliptical Laplace distribution.

研究动机与目标

• 开发一种适用于高维和非参数模型的通用贝叶斯理论，统一现有方法。
• 解决高维统计中缺乏理论上最优的贝叶斯方法的问题，相较于频繁学派方法。
• 通过引入更具灵活性和结构化的先验，克服现有先验（如spike-and-slab或独立拉普拉斯）的局限性。
• 在模型误设条件下实现最优后验收缩率，将适用范围扩展至非正确设定的模型。
• 统一各类模型的结果，包括稀疏线性回归、随机块模型、图函数和字典学习。

提出的方法

• 提出两步先验：首先对模型结构（如稀疏模式或块结构）进行建模，然后通过椭球拉普拉斯分布对参数进行建模。
• 在参数上使用椭球拉普拉斯先验，以处理大振幅信号和重尾分布，提升鲁棒性。
• 在模型选择先验中引入校正因子，以补偿椭球拉普拉斯分布的归一化常数，确保最优收缩率。
• 推导出一个通用的后验收缩Oracle不等式，允许任意的模型误设。
• 将该框架应用于推导十种不同模型中的最优后验收缩率，包括非参数聚合和小波估计。
• 采用集中不等式和尾部界来控制后验尾部概率，并推导收敛速率。

实验结果

研究问题

• RQ1 一个单一的贝叶斯框架是否能在多种高维和非参数模型中实现最优后验收缩？
• RQ2 与现有的先验（如spike-and-slab或独立拉普拉斯）相比，两步先验结构如何提升后验收缩率？
• RQ3 当参数先验的归一化常数非平凡时，模型选择先验中的校正因子在实现速率最优性方面起到什么作用？
• RQ4 通用Oracle不等式在模型误设条件下能多大程度上仍能保证最优后验收缩？
• RQ5 该框架是否能统一看似不同的模型（如稀疏回归、随机块模型和字典学习）的结果？

主要发现

• 所提出的两步先验在稀疏线性回归中实现了最优收缩率，且假设条件弱于以往使用独立拉普拉斯先验的方法。
• 该框架在随机块模型、双聚类、组稀疏回归和多任务学习中实现了精确的极小极大后验收缩率。
• 在Besov空间下的非参数图函数估计和聚合问题中，通用Oracle不等式即使在模型误设条件下也能实现最优后验收缩。
• 模型选择先验中的校正因子至关重要：若无此因子，由于椭球拉普拉斯分布的归一化常数，后验收缩率将变得次优。
• 通用Oracle不等式可推导出严格不在结构化线性模型框架内的模型的最优后验速率，如近似稀疏性和小波估计。
• 理论结果在十个不同示例中得到验证，证明了所提框架的广泛适用性和鲁棒性。