[论文解读] Adaptive Posterior Convergence Rates in Bayesian Density Deconvolution with Supersmooth Errors

Abhra Sarkar, Debdeep Pati+2 more|arXiv (Cornell University)|Aug 25, 2013

Statistical Methods and Inference参考文献 23被引用 3

一句话总结

本文在使用正态分布的狄利克雷过程混合先验时，建立了在超光滑误差下的贝叶斯密度去卷积的自适应后验收敛速率。它证明了在 $L_p$ 范数下，后验以极小化最优速率 $(\log n)^{-\eta/\beta}$ 收敛，且对真实密度的光滑度 $\eta$ 实现自适应，仅需较弱的尾部条件，这是首次在非参数先验下对去卷积中自适应极小化最优后验集中现象的理论验证。

ABSTRACT

Bayesian density deconvolution using nonparametric prior distributions is a useful alternative to the frequentist kernel based deconvolution estimators due to its potentially wide range of applicability, straightforward uncertainty quantification and generalizability to more sophisticated models. This article is the first substantive effort to theoretically quantify the behavior of the posterior in this recent line of research. In particular, assuming a known supersmooth error density, a Dirichlet process mixture of Normals on the true density leads to a posterior convergence rate same as the minimax rate $(\log n)^{-η/β}$ adaptively over the smoothness $η$ of an appropriate Hölder space of densities, where $β$ is the degree of smoothness of the error distribution. Our main contribution is achieving adaptive minimax rates with respect to the $L_p$ norm for $2 \leq p \leq \infty$ under mild regularity conditions on the true density. En route, we develop tight concentration bounds for a class of kernel based deconvolution estimators which might be of independent interest.

研究动机与目标

• 在具有超光滑测量误差的贝叶斯密度去卷积中，建立理论后验集中速率。
• 研究狄利克雷过程混合正态（DPMM）先验是否能在 $L_p$ 范数下实现自适应极小化最优后验收敛速率。
• 确定真实密度和误差密度的最小正则性条件，以实现后验一致性与最优速率。
• 将现有的标准密度估计后验一致性结果，扩展至具有测量误差的去卷积设置。
• 提供后验以极小化速率收缩的充分条件，而无需事先知道光滑度 $\eta$。

提出的方法

• 在未知密度 $f_X$ 上使用狄利克雷过程混合正态先验，采用共轭正态基测度和逆伽马先验对带宽进行建模。
• 以基于核的去卷积估计器作为基准，推导其紧密的集中界，这些界在后验集中分析中被使用。
• 应用基于 Kullback-Leibler（KL）散度和熵条件的一般后验集中框架，并将其适配至去卷积设置。
• 通过验证涉及 KL 散度、熵和先验集中界等充分条件，实现 $L_p$ 范数下的后验集中。
• 使用 Talagrand 不等式和经验过程的矩界，控制后验集中分析中的经验过程项。
• 推导出最优带宽 $h_n \asymp (\log n)^{-1/\beta}$，以平衡去卷积估计器中的偏差与方差，从而将其与后验集中速率联系起来。

实验结果

研究问题

• RQ1 狄利克雷过程混合正态先验是否能在具有超光滑误差的贝叶斯密度去卷积中实现自适应极小化最优后验收敛速率？
• RQ2 真实密度和误差密度的最小正则性条件是什么，才能实现以极小化速率的后验集中？
• RQ3 在 $L_p$ 范数下（$2 \leq p \leq \infty$）的后验集中速率是否与频发性极小化速率 $(\log n)^{-\eta/\beta}$ 一致？
• RQ4 后验是否能以自适应方式达到该速率，而无需事先知道真实密度的光滑度 $\eta$？
• RQ5 真实密度和误差密度的尾部条件如何影响去卷积中的后验集中？

主要发现

• 在真实密度和误差密度具有较弱的多项式尾部条件下，后验分布在 $L_p$ 范数下以极小化速率 $(\log n)^{-\eta/\beta}$ 收敛，其中 $2 \leq p \leq \infty$。
• 无需事先知道光滑度 $\eta$，即可实现自适应极小化最优后验集中，使方法完全自适应。
• 速率 $(\log n)^{-\eta/\beta}$ 是最优的，且与超光滑误差下去卷积的频发性极小化速率一致。
• 推导出基于核的去卷积估计器的紧密集中界，这些结果本身具有独立兴趣，并在后验集中证明中被使用。
• 证明依赖于使用 Talagrand 不等式和经验过程的矩界，验证 KL 散度和熵条件。
• 对于加速速率情形，当误差方差 $\sigma_n \asymp n^{-1/(2\eta+1)}(\log n)^{t/\eta}$ 且 $t > (2 + 1/\eta + 1/c_3)/(2 + 1/\eta)$ 时，后验以速率 $n^{-\eta/(2\eta+1)}(\log n)^t$ 收敛，与标准密度估计的速率一致。