[论文解读] Adaptive Supremum Norm Posterior Contraction: Wavelet Spike-and-Slab and Anisotropic Besov Spaces

William Weimin Yoo, Vincent Rivoirard+1 more|arXiv (Cornell University)|Aug 6, 2017

Statistical Methods and Inference参考文献 21被引用 11

一句话总结

本论文提出了一种基于小波的稀疏-全贝叶斯方法，用于多变量设定下的自适应非参数回归，实现了回归函数及其混合偏导数在本质范数下的最优后验收缩率。通过一种新颖的平移技术将回归模型转化为准白噪声模型，作者在 $L_\infty$ 损失下于各向异性 Besov 空间中建立了自适应且最优的收缩率。

ABSTRACT

Supremum norm loss is intuitively more meaningful to quantify function estimation error in statistics. In the context of multivariate nonparametric regression with unknown error, we propose a Bayesian procedure based on spike-and-slab prior and wavelet projections to estimate the regression function and all its mixed partial derivatives. We show that their posterior distributions contract to the truth optimally and adaptively under supremum-norm loss. The master theorem through tests with exponential errors used in Bayesian nonparametrics was not adequate to deal with this problem, and we developed a new idea such that posterior under the regression model is systematically reduced to a posterior arising from some quasi-white noise model, where the latter model greatly simplifies our rate calculations. Hence, this paper takes the first step in showing explicitly how one can translate results from white noise to regression model in a Bayesian setting.

研究动机与目标

• 解决多变量非参数回归中在本质范数损失下缺乏自适应后验收缩结果的问题。
• 开发一种实用的贝叶斯方法，可自适应未知光滑性，并同时估计回归函数及其混合偏导数。
• 在贝叶斯非参数统计中建立回归模型与高斯白噪声模型之间的严谨联系，使可通过更简单的准白噪声近似进行速率计算。
• 将现有理论从 $L_2$-损失扩展至 $L_\infty$-损失，后者在函数估计和可信带解释中更具可读性。
• 首次提供一种显式、构造性的方法，利用小波基与稀疏-全先验实现非参数回归中自适应 $L_\infty$-收缩。

提出的方法

• 使用有限个张量积小波基的组合表示回归函数 $f$。
• 对小波系数赋予稀疏-全先验，以实现稀疏、自适应估计及导数恢复。
• 在 $(0,\infty)$ 上赋予误差方差 $\sigma^2$ 连续先验，以允许未知异方差性。
• 将回归模型下的后验分布简化为来自准白噪声模型的后验分布，从而简化速率分析。
• 利用 Borell 不等式以及对小波设计矩阵 $\boldsymbol{\Psi}^T\boldsymbol{\Psi}$ 的界，控制后验均值的本质范数偏差。
• 在假设 $2^{\sum_{l=1}^d J_{n,l}} = o(n)$ 下，应用浓度不等式与 $\boldsymbol{\Psi}^T\boldsymbol{\Psi}$ 的特征值界，确保稳定性和收敛性。

实验结果

研究问题

• RQ1 贝叶斯方法是否能在多变量非参数回归中实现 $L_\infty$-损失下的自适应且最优的后验收缩？
• RQ2 在贝叶斯框架下，回归模型中的后验收缩速率能否系统性地与白噪声模型中的速率关联？
• RQ3 小波稀疏-全先验在实现混合偏导数自适应估计中起什么作用？
• RQ4 回归与白噪声模型之间的渐近等价性能否在后验速率计算中显式表达？
• RQ5 在未知光滑性下，各向异性 Besov 空间中回归函数的最优 $L_\infty$-收缩速率是什么？

主要发现

• 所提出的小波稀疏-全方法在本质范数损失下实现了自适应且最优的后验收缩速率。
• 回归模型中的后验收缩速率受准白噪声模型速率的控制，从而实现了可处理的速率计算。
• 该方法在各向异性 Besov 空间中对回归函数及其混合偏导数均实现了最优 $L_\infty$-收缩。
• 作者证明了在设计假设 $2^{\sum_{l=1}^d J_{n,l}} = o(n)$ 下，$\|\widehat{f}_n - \mathbb{E}_f\widehat{f}_n\|_\infty$ 以概率有界，其阶为 $O_p(\sqrt{n^{-1} 2^{\sum_{l=1}^d J_{n,l}} \log n})$。
• 设计矩阵 $\boldsymbol{\Psi}^T\boldsymbol{\Psi}$ 的特征值介于 $\gtrsim n$ 与 $O(n)$ 之间，确保了后验计算中的稳定性和可逆性。
• 本工作首次提供了显式构造的贝叶斯方法，可自适应未知光滑性，并在多变量非参数回归中实现最优 $L_\infty$-收缩。