[论文解读] Adaptive estimation of spectral densities via wavelet thresholding and information projection

Jérémie Bigot, Rolando Biscay Lirio+2 more|arXiv (Cornell University)|Dec 10, 2009

Image and Signal Denoising Methods参考文献 20被引用 3

一句话总结

该论文提出了一种基于小波的自适应估计器，用于平稳高斯过程的谱密度，通过将小波阈值化与指数族上的信息投影相结合，确保了非负性。该方法在Besov类上实现了最优的Kullback-Leibler差异率，在非均匀光滑性情形下优于传统线性方法。

ABSTRACT

In this paper, we study the problem of adaptive estimation of the spectral density of a stationary Gaussian process. For this purpose, we consider a wavelet-based method which combines the ideas of wavelet approximation and estimation by information projection in order to warrants that the solution is a nonnegative function. The spectral density of the process is estimated by projecting the wavelet thresholding expansion of the periodogram onto a family of exponential functions. This ensures that the spectral density estimator is a strictly positive function. Then, by Bochner's theorem, the corresponding estimator of the covariance function is semidefinite positive. The theoretical behavior of the estimator is established in terms of rate of convergence of the Kullback-Leibler discrepancy over Besov classes. We also show the excellent practical performance of the estimator in some numerical experiments.

研究动机与目标

• 开发一种针对平稳高斯过程谱密度的非负、自适应估计器，同时保持协方差函数的非负定性。
• 克服线性平滑和标准小波阈值化方法的局限性，后者可能产生负的谱密度估计值。
• 在Kullback-Leibler差异而非$L_2$-风险的意义下建立理论最优性，这更符合密度估计的自然需求。
• 提出一种计算简单的阈值规则，可自适应于谱密度中的非均匀光滑性。
• 通过数值实验展示该方法在有限样本下相对于现有方法的优越性能。

提出的方法

• 使用硬阈值化对周期图进行非线性小波逼近，以降低噪声。
• 将阈值化后的小波系数投影到指数函数族上，以确保所得谱密度估计器严格为正。
• 利用信息投影，将谱密度估计为在指数族模型中Kullback-Leibler差异最小化的解。
• 将估计器定义为$ f_{j_1(n), heta_n^{ ext{HT}}}^{HT} $，其中$ \theta_n $被选择以匹配阈值化后的小波系数。
• 采用基于周期图局部$l_1$-范数的阈值规则，避免对方差进行核预估计。
• 通过Besov空间范数和Kullback-Leibler差异建立理论界，收敛速率通过浓度不等式和熵分析推导。

实验结果

研究问题

• RQ1 小波阈值化与信息投影相结合是否能产生一个自适应于非均匀光滑性的非负谱密度估计器？
• RQ2 该估计器在Besov类上的Kullback-Leibler差异收敛速率是多少？
• RQ3 与现有线性和非线性估计器相比，该方法在理论最优性和有限样本性能方面表现如何？
• RQ4 是否可以简化阈值规则而不损失自适应性或收敛速率？
• RQ5 信息投影步骤是否能确保估计器严格为正，同时保持最优估计精度？

主要发现

• 所提出的估计器在Besov类$ F_{p,q}^s(M) $上实现了$ \left(\frac{n}{\log n}\right)^{-\frac{2s}{2s+1}} $阶的Kullback-Leibler差异率，与该损失函数的最优率一致。
• 该方法通过构造确保了谱密度估计器的严格正性，从而保持了对应协方差函数的非负定性。
• 理论分析表明，估计误差在$ F_{p,q}^s(M) $上一致收敛于零，且当$ n \to \infty $时有$ \epsilon_{j_1(n)} \to 0 $，从而保证了一致性。
• 该阈值规则简单明了，避免了对方差的核预估计，因此对低正则性谱密度具有鲁棒性。
• 数值实验表明该方法具有出色的实用性能，估计精度和稳定性均优于现有方法。
• 即使在谱密度表现出非均匀光滑性的情形下，该估计器仍能达到最优速率，而线性方法无法实现最优的$L_2$-速率。