[论文解读] Needles and straw in a haystack: robust empirical Bayes confidence for possibly sparse sequences

Eduard Belitser, Nurzhan Nurushev|arXiv (Cornell University)|Nov 5, 2015

Statistical Methods and Inference参考文献 23被引用 12

一句话总结

本文提出了一种在可能存在模型误设的稀疏正态均值模型中进行不确定性量化的方法，采用一种基于经验贝叶斯后验的可信球，该后验在过度偏差限制下以oracle速率收缩。该方法确保了估计和后验收缩的自适应极小极大最优性，其置信球半径包含一个额外的对数因子，但该因子是否必要尚不明确。

ABSTRACT

In the many normal means model we construct an empirical Bayes posterior which we then use for uncertainty quantification for the unknown (possibly sparse) parameter by constructing an estimator and a confidence set around it as empirical Bayes credible ball. We allow the model to be misspecified (the normality assumption can be dropped, with some moment conditions instead), leading to the robust empirical Bayes inference. An important step in assessing the uncertainty is the derivation of the fact that the empirical Bayes posterior contracts to the parameter with a local (i.e., depending on the parameter) rate which is the best over certain family of local rates; therefore called oracle rate. We introduce the so called excessive bias restriction under which we establish the local (oracle) confidence optimality of the empirical Bayes credible ball. Adaptive minimax results (for the estimation and posterior contraction problems) over sparsity classes follow from our local results. An extra (square root of) log factor appears in the radial rate of the confidence ball; it is not known whether this is an artifact or not.

研究动机与目标

• 在可能存在模型误设的稀疏正态均值模型中，发展不确定性量化方法。
• 在放松正态性假设的条件下，建立局部后验收缩达到oracle速率的理论结果。
• 推导出在过度偏差限制下能实现最优局部频现覆盖的置信集（可信球）。
• 在稀疏性类别上实现估计和后验收缩的自适应极小极大结果。
• 探究置信球半径中额外的对数因子是否必要，还是分析中的产物。

提出的方法

• 通过使用数据驱动的先验构建经验贝叶斯后验，实现无需严格正态性的稳健推断。
• 施加过度偏差限制以控制稀疏设定下的偏差，并确保后验以oracle速率集中。
• 将置信集构造为以经验贝叶斯估计量为中心的可信球，其半径依赖于局部风险。
• 使用矩条件而非严格正态性，允许模型误设的同时保持理论保证。
• 应用局部风险分析，推导出经验贝叶斯后验的最优收缩速率。
• 通过证明该方法在各种稀疏性类别上均达到最佳可能速率，建立自适应极小极大性。

实验结果

研究问题

• RQ1 在模型误设条件下，经验贝叶斯推断能否实现局部oracle后验收缩速率？
• RQ2 在何种条件下，经验贝叶斯可信球能提供具有最优频现覆盖的有效不确定性量化？
• RQ3 过度偏差限制如何影响经验贝叶斯后验在稀疏设定下的性能？
• RQ4 置信球半径中的额外对数因子是否对最优性是必要的，还是分析中的产物？
• RQ5 所提出的方法能否在各类稀疏性类别上实现估计和后验收缩的自适应极小极大速率？

主要发现

• 在过度偏差限制下，即使正态性假设被放松，经验贝叶斯后验仍能以oracle速率收缩至真实参数。
• 经验贝叶斯可信球实现了局部置信最优性，即在给定约束下提供了最小可能的置信集。
• 在多种稀疏性类别上建立了自适应极小极大估计和后验收缩结果，展示了方法的稳健性与最优性。
• 置信球半径包含一个额外的（平方根）对数因子，但尚不清楚该因子是否必要，或可被移除。
• 该方法在矩条件而非严格正态性下依然有效，因此对模型误设具有鲁棒性。
• 研究表明，过度偏差限制是实现稀疏且可能误设模型中最优不确定性量化的关键条件。