[论文解读] Empirical priors for targeted posterior concentration rates
本文提出了一种通用框架，用于构建数据依赖的先验——经验先验，以确保在高维贝叶斯模型中实现最优后验集中率。通过在似然值较高的参数取值上分配先验质量，该方法降低了对先验形状的敏感性，从而在保持目标集中率（通常为最优）的同时，可使用简便的先验形式，适用于密度估计、非参数回归和高维正态模型。
In high-dimensional Bayesian applications, choosing a prior such that the corresponding posterior distribution has desired asymptotic concentration properties can be challenging. This paper develops a general strategy for constructing empirical or data-dependent priors whose corresponding posterior distributions have targeted, often optimal, concentration rates. In essence, the idea is to place a prior which has sufficient mass on parameter values for which the likelihood is suitably large. This makes the asymptotic properties of the posterior less sensitive to the shape of the prior which, in turn, allows users to work with priors of convenient forms while maintaining the desired posterior concentration rates. General results on both adaptive and non-adaptive rates based on empirical priors are presented, along with illustrations in density estimation, nonparametric regression, and high-dimensional structured normal models.
研究动机与目标
- 解决在高维贝叶斯模型中选择能产生期望渐近集中率的先验的挑战。
- 通过利用数据依赖的先验构造，降低后验集中对先验形状的敏感性。
- 开发一种适用于各类模型中自适应与非自适应集中率的通用策略。
- 在保持最优后验集中特性的同时，实现简便先验形式的使用。
提出的方法
- 通过在似然值较大的参数取值上分配质量来构建经验先验，以确保高后验集中率。
- 使用经验风险或基于似然的选择来定义先验的支持集，使其具有数据依赖性。
- 为自适应与非自适应情形下基于经验先验的后验集中率建立一般性理论结果。
- 将该框架应用于具体模型，包括密度估计、非参数回归以及高维结构化正态模型。
- 证明在正则性条件下，后验集中率可达到极小极大最优率。
- 将似然作为先验质量分配的代理，使先验形式与集中性能解耦。
实验结果
研究问题
- RQ1是否可以构建数据依赖的先验，以在高维模型中实现最优后验集中率？
- RQ2如何在保持理想渐近集中特性的同时，降低先验对形状的敏感性？
- RQ3在何种一般条件下，经验先验可实现自适应或非自适应的最优后验集中率？
- RQ4在哪些场景下（如密度估计或非参数回归）经验先验方法可实现最优性能？
- RQ5当结合数据驱动的质量分配时，是否可以有效使用简便的先验形式？
主要发现
- 经验先验通过将先验质量集中于高似然参数区域，实现最优后验集中率，从而降低对先验形状的依赖。
- 即使使用简单或方便的先验形式，该方法仍能确保目标集中率，提升实际可用性。
- 理论结果表明，在弱正则性条件下，后验集中率可达到极小极大最优率。
- 该框架具有广泛适用性，涵盖密度估计、非参数回归以及高维结构化正态模型。
- 该方法无需复杂先验设定即可实现自适应集中率。
- 通过使用似然作为先验质量分配的指导，该方法在各类模型中稳定了渐近行为。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。