[论文解读] Adaptive Nonparametric Empirical Bayes Estimation Via Wavelet Series

Rida Benhaddou, Marianna Pensky|arXiv (Cornell University)|May 4, 2012

Statistical Methods and Inference被引用 1

一句话总结

本文提出一种基于小波级数展开的自适应非参数经验贝叶斯估计器，以实现最优收敛速率。通过最小化先验风险来估计小波系数，并应用Lepski方法选择分辨率层级，该方法通过一个适定的、低维的稀疏线性系统，实现了计算高效且渐近最优的估计器。

ABSTRACT

In the present paper, we derive lower bounds for the risk of the nonparametric empirical Bayes estimators. In order to attain the optimal convergence rate, we propose generalization of the linear empirical Bayes estimation method which takes advantage of the flexibility of the wavelet techniques. We present an empirical Bayes estimator as a wavelet series expansion and estimate coefficients by minimizing the prior risk of the estimator. As a result, estimation of wavelet coefficients requires solution of a well-posed low-dimensional sparse system of linear equations. The dimension of the system depends on the size of wavelet support and smoothness of the Bayes estimator. An adaptive choice of the resolution level is carried out using Lepski (1997) method. The method is computationally efficient and provides asymptotically optimal adaptive EB estimators. The theory is supplemented by numerous examples.

研究动机与目标

• 推导非参数经验贝叶斯估计器风险的下界。
• 发展线性经验贝叶斯估计的推广形式，利用小波的灵活性以提升自适应性和收敛性。
• 通过在小波级数框架下最小化先验风险，实现渐近最优估计。
• 通过求解低维稀疏线性方程组，确保计算效率。

提出的方法

• 将经验贝叶斯估计器表述为小波级数展开，以利用多尺度表示特性。
• 通过最小化估计器的先验风险来估计小波系数，从而得到一个适定的、低维的稀疏线性方程组。
• 方程组的维数由小波的支撑大小和贝叶斯估计器的光滑性决定。
• 利用Lepski方法自适应选择分辨率层级，以确保在未知光滑性类中的最优性能。
• 通过分辨率自适应平衡偏差与方差，确保渐近最优性。
• 由于线性方程组具有稀疏结构，该方法计算效率高。

实验结果

研究问题

• RQ1 基于小波的级数展开能否提升非参数经验贝叶斯估计器的收敛速率？
• RQ2 如何制定小波系数的估计方法，以在保持计算可行性的同时最小化先验风险？
• RQ3 何种自适应策略可确保在未知光滑性水平下的渐近最优性？
• RQ4 线性方程组的维数如何依赖于小波支撑和估计器的光滑性？
• RQ5 所提出的方法能否在保持计算效率的同时实现最优风险界？

主要发现

• 所提出的小波基经验贝叶斯估计器在非参数估计中实现了最优收敛速率。
• 小波系数的估计可简化为求解一个适定的、低维的稀疏线性方程组。
• 通过使用Lepski方法进行自适应分辨率层级选择，该方法确保了渐近最优性。
• 计算效率源于线性方程组的稀疏结构，其特性取决于小波支撑和光滑性。
• 由于采用了自适应分辨率选择，该方法在未知光滑性类中表现出鲁棒性。
• 本文中的大量实例展示了该方法在实际应用中的有效性及理论上的合理性。