[论文解读] How many needles in the haystack? Adaptive inference and uncertainty quantification for the horseshoe

Stéphanie van der Pas, Botond Szabó+1 more|arXiv (Cornell University)|Jul 7, 2016

Statistical Methods and Inference被引用 4

一句话总结

本文研究在稀疏高维正态均值模型中，使用 horseshoe 先验时可信集与边际区间的表现，比较了层次贝叶斯与经验贝叶斯方法，且未假设已知稀疏性。研究发现，尽管当稀疏性正确指定时，这些方法能实现最优大小与良好的频率覆盖，但由于过度收缩，在整个参数空间上无法保持诚实性，且识别出不确定性量化仍有效的参数子集。

ABSTRACT

We investigate the credible sets and marginal credible intervals resulting from the horseshoe prior in the sparse multivariate normal means model. We do so in an adaptive setting without assuming knowledge of the sparsity level (number of signals). We consider both the hierarchical Bayes method of putting a prior on the unknown sparsity level and the empirical Bayes method with the sparsity level estimated by maximum marginal likelihood. We show that credible balls and marginal credible intervals have good frequentist coverage and optimal size if the sparsity level of the prior is set correctly. By general theory honest confidence sets cannot adapt in size to an unknown sparsity level. Accordingly the hierarchical and empirical Bayes credible sets based on the horseshoe prior are not honest over the full parameter space. We show that this is due to over-shrinkage for certain parameters and characterise the set of parameters for which credible balls and marginal credible intervals do give correct uncertainty quantification. In particular we show that the fraction of false discoveries by the marginal Bayesian procedure is controlled by a correct choice of cut-off.

研究动机与目标

• 评估在稀疏多元正态均值模型中，基于 horseshoe 先验的可信集与边际区间的频率覆盖与大小性质。
• 探究当真实稀疏性水平未知时，使用 horseshoe 先验的层次贝叶斯与经验贝叶斯方法是否能自适应地提供诚实的不确定性量化。
• 刻画在整体参数空间上缺乏诚实性的情况下，可信区间仍能保持正确覆盖的参数集合。
• 确定边际贝叶斯程序中截断值的选择如何控制错误发现率。

提出的方法

• 采用稀疏多元正态均值模型，论文在不假设已知稀疏性的自适应设定下，分析 horseshoe 先验下的可信集与边际区间。
• 使用层次贝叶斯方法，在未知稀疏性水平上放置先验，以实现完整的贝叶斯推断。
• 采用经验贝叶斯方法，通过最大边际似然估计稀疏性水平，以实现自适应推断。
• 进行理论分析，评估两种方法下可信球与边际区间的频率覆盖与大小。
• 论文识别出在 horseshoe 先验下发生过度收缩的参数集合，导致不确定性量化无效。
• 引入边际后验概率中的截断阈值，以控制错误发现的比例，将其与正确的不确定性量化相联系。

实验结果

研究问题

• RQ1 当稀疏性水平正确指定时，基于 horseshoe 先验的可信集与边际区间是否能实现最优大小与良好的频率覆盖？
• RQ2 当稀疏性未知时，使用 horseshoe 先验的层次贝叶斯与经验贝叶斯方法是否能自适应地在全参数空间上提供诚实的不确定性量化？
• RQ3 在稀疏性未知时，horseshoe 先验为何会失败于诚实覆盖？哪些参数最易受到过度收缩的影响？
• RQ4 边际贝叶斯程序中截断值的选择如何影响错误发现率与不确定性量化的准确性？
• RQ5 基于 horseshoe 先验的可信区间保持有效且校准良好的参数集合是什么？

主要发现

• 当先验稀疏性水平与真实稀疏性匹配时，基于 horseshoe 先验的可信球与边际可信区间能实现最优大小与良好的频率覆盖。
• 尽管在正确稀疏性下实现最优大小与覆盖，但层次贝叶斯与经验贝叶斯可信集由于某些参数的过度收缩，在全参数空间上无法保持诚实性。
• 对于并非信号但接近噪声水平的参数，会发生过度收缩，导致覆盖不足与不确定性量化的无效。
• 通过合理选择截断值，可控制边际贝叶斯程序中的错误发现比例，从而确保对参数子集的不确定性量化有效性。
• 已刻画出可信区间保持有效的参数集合，表明在 horseshoe 先验下，诚实推断仅可能在参数空间的一个真子集上实现。