[论文解读] Besov regularity of functions with sparse random wavelet coefficients

Natalia Bochkina|arXiv (Cornell University)|Oct 14, 2013

Image and Signal Denoising Methods参考文献 28被引用 6

一句话总结

本文建立了具有稀疏小波系数的随机函数几乎必然属于 Besov 空间的必要与充分条件，将先前的工作推广至广义重尾先验分布和过完备小波字典。主要贡献在于对先验正则性的表征，以确保贝叶斯非参数回归中后验一致性。

ABSTRACT

This paper addresses the problem of regularity properties of functions represented as an expansion in a wavelet basis with random coefficients in terms of finiteness of their Besov norm with probability 1. Such representations are used to specify a prior measure in Bayesian nonparametric wavelet regression. Investigating regularity of such functions is an important problem since the support of the posterior measure does not include functions that are not in the support of the prior measure, and therefore determines the functions that are possible to estimate using specified Bayesian model. We consider a more general parametrisation than has been studied previously which allows to study a priori regularity of functions under a wider class of priors. We also emphasise the difference between the abstract stochastic expansions that have been studied in the literature, and the expansions actually arising in nonparametric regression, and show that the latter cover a wider class of functions than the former. We also extend these results to stochastic expansions in an overcomplete wavelet dictionary.

研究动机与目标

• 确定在广义先验分布下，通过小波展开生成的随机稀疏系数函数的先验正则性。
• 将现有关于 Besov 空间成员关系的结果从高斯和次高斯先验扩展至重尾分布。
• 澄清抽象随机展开与实际非参数回归中出现的展开之间的区别，表明后者支持更广泛的函数类。
• 将结果推广至过完备小波字典，从而在建模不连续性和局部特征方面提供更大灵活性。
• 为几乎必然属于 Besov 空间 $ B_{p,q}^s $ 提供必要与充分条件，这对贝叶斯小波回归中的后验一致性至关重要。

提出的方法

• 将小波系数建模为在零点的点质量与具有幂律或指数尾部的一般分布的混合。
• 利用小波系数的矩和尾部概率界，通过 dyadic 层次上的并集界推导随机最大值。
• 应用通过 $ \ell^q $-可和性表征 Besov 范数的方法，即对 dyadic 尺度 $ j $ 上的 $ 2^{sj} \|w_j\|_\infty $ 求和。
• 采用涉及 $ \varkappa $、$ \gamma $ 和 $ \iota $ 的参数化方式，以控制尾部衰减和最大值增长，确保可积性。
• 分析 $ q < \infty $ 和 $ q = \infty $ 两种情形，区分 $ \ell^q $-范数与本质上确界条件。
• 推导出确保几乎必然有限 Besov 范数的尾指数 $ \beta $、衰减率 $ \alpha $ 以及分布参数 $ r, \rho $ 的条件。

实验结果

研究问题

• RQ1 稀疏随机小波系数的分布需满足何种条件，才能保证生成的函数以几乎必然的方式属于 Besov 空间 $ B_{p,q}^s $？
• RQ2 先验分布的选择——尤其是重尾或幂律-指数型分布——如何影响函数的先验正则性？
• RQ3 实际中有限维先验（有限维模型）生成的函数的正则性特征与无限维模型中的有何不同？
• RQ4 这些结果能否推广至过完备小波字典？这对建模具有不连续性的函数有何影响？
• RQ5 当小波系数为具有广义尾部行为的 i.i.d. 分布时，$ \|f\|_{B_{p,q}^s} < \infty $ 几乎必然的必要与充分条件是什么？

主要发现

• 对于具有幂律-指数尾部的分布，若 $ \tilde{\delta} = s' - \alpha/2 < 0 $，则函数以几乎必然的方式属于 $ B_{p,q}^s $，其中 $ s' $ 为光滑性指数，$ \alpha $ 控制尾部衰减。
• 对于多项式尾部，几乎必然成员关系的条件为 $ \tilde{\delta} + (1-\beta)(1/\varkappa - 1/l) < 0 $，其中 $ \varkappa > 2/(r+\rho+1/2) $ 且 $ l > 2/(r+\rho+1/2) $，以确保参数区间非空。
• 有限 Besov 范数的充分条件为 $ s' + \gamma < 0 $，其中 $ \gamma $ 控制不同尺度上最大小波系数的增长。
• 具有有限 $ n $-系数先验的模型所支持的函数类，由于尺度相关的系数控制，比无限维先验模型更宽泛。
• 当 $ q = \infty $ 时，条件简化为 $ \sup_j 2^{js'} \|w_j\|_\infty < \infty $ 几乎必然成立，当 $ \gamma < -s' $ 且 $ \varkappa(r+\rho+1/2) > 2 $ 时成立。
• 结果表明，仅当尾部行为与衰减率在 $ \beta $、$ \alpha $、$ r $ 和 $ \rho $ 之间满足特定相互作用时，先验支撑才包含具有所需光滑性的函数。