[论文解读] Efficient Empirical Bayes prediction under check loss using Asymptotic Risk Estimates

Gourab Mukherjee, Lawrence D. Brown+1 more|arXiv (Cornell University)|Oct 30, 2015

Statistical Methods and Inference参考文献 42被引用 3

一句话总结

本文提出了一种新颖的经验贝叶斯方法，用于在不对称检验损失下进行高维正态分布预测，利用基于埃米特多项式展开推导出的渐近有效风险估计。所提出的收缩预测器在渐近意义上是最优的，通过针对预测分布的预设分位数而非均值来体现损失的不对称性，且在模拟中优于传统经验贝叶斯方法。

ABSTRACT

We develop a novel Empirical Bayes methodology for prediction under check loss in high-dimensional Gaussian models. The check loss is a piecewise linear loss function having differential weights for measuring the amount of underestimation or overestimation. Prediction under it differs in fundamental aspects from estimation or prediction under weighted-quadratic losses. Because of the nature of this loss, our inferential target is a pre-chosen quantile of the predictive distribution rather than the mean of the predictive distribution. We develop a new method for constructing uniformly efficient asymptotic risk estimates which are then minimized to produce effective linear shrinkage predictive rules. In calculating the magnitude and direction of shrinkage, our proposed predictive rules incorporate the asymmetric nature of the loss function and are shown to be asymptotically optimal. Using numerical experiments we compare the performance of our method with traditional Empirical Bayes procedures and obtain encouraging results.

研究动机与目标

• 解决在不对称检验损失下高维正态模型的预测问题，该损失对低估和高估的惩罚不同。
• 开发一种新的框架，用于构建适用于检验损失分段线性特性的统一高效渐近风险估计（AREs）。
• 生成通过最小化这些AREs实现渐近最优的收缩预测器，同时考虑损失的不对称性。
• 将经验贝叶斯方法从二次损失设定扩展至分位数基预测，特别是针对非对称损失。
• 通过数值实验验证方法性能，显示其优于经典经验贝叶斯程序。

提出的方法

• 采用具有未知超参数（η, τ）的层次正态模型对θi建模，其中θi ∼ N(η, τ)，并在检验损失下推导贝叶斯预测器。
• 通过相关随机函数的埃米特多项式展开构造渐近无偏风险估计，实现风险函数的估计，而无需在传统二次意义下保持无偏性。
• 通过最小化所提出的渐近有效风险估计（ARE）来引入超参数τ的数据驱动估计器，从而得到一个收缩规则，其方向和大小均根据损失不对称性自适应调整。
• 推导出收缩因子αi(τ) = τ / (τ + νp,i)，以在先验均值与观测数据之间取得平衡，且该估计器针对损失权重的临界比bi/(bi + hi)进行调优。
• 应用截断和阈值技术（λn(i), Kn(i)）以控制风险估计中的尾部行为，确保一致可积性与收敛性。
• 通过τ的网格优化计算最终估计器，理论保证在n → ∞时具有渐近最优性。

实验结果

研究问题

• RQ1 能否在不对称检验损失下构造渐近有效风险估计，而传统无偏风险估计在此类情况下失效？
• RQ2 在该损失下，经验贝叶斯预测如何调整以针对预测分布的分位数而非均值？
• RQ3 在检验损失下，渐近最优收缩规则的结构是什么，其与二次损失下的规则有何不同？
• RQ4 埃米特多项式展开能否在具有非对称损失的高维模型中有效用于风险估计？
• RQ5 所提方法在有限样本下的性能与经典经验贝叶斯预测器相比如何？

主要发现

• 所提方法利用埃米特多项式展开构造了统一高效的渐近风险估计（AREs），实现了在不对称检验损失下的风险最小化。
• 所得收缩预测器在渐近意义上是最优的，其收缩方向和大小通过临界比bi/(bi + hi)显式体现损失的不对称性。
• 数值实验表明，该方法即使在中等维度下也优于传统经验贝叶斯程序，表现出稳健性与高效性。
• 理论分析证实，在较弱的矩条件假设下，风险估计具有渐近无偏性和一致可积性。
• 该估计器在估计超参数τ方面实现了类似“Oracle”的性能，且在高维渐近框架中建立了收敛速率。
• 该框架可扩展至以原点为中心和以总体均值为中心的先验，分别对应ARE⁰、AREᴳ和AREᴰ三类ARE估计器。