[论文解读] Stein COnsistent Risk Estimator (SCORE) for hard thresholding

Charles‐Alban Deledalle, Gabriel Peyré+1 more|arXiv (Cornell University)|Jan 24, 2013

Numerical methods in inverse problems参考文献 4被引用 10

一句话总结

本文提出了Stein COnsistent Risk Estimator（SCORE），一种针对高维高斯序列模型中硬阈值化的自由度与风险的一致估计器。通过使用高斯核对不连续的硬阈值算子进行平滑，并结合偏差校正的散度估计器，SCORE在硬阈值非可微的情况下，仍能实现渐近一致的风险估计，从而在大样本中通过无偏风险近似实现最优阈值选择。

ABSTRACT

In this work, we construct a risk estimator for hard thresholding which can be used as a basis to solve the difficult task of automatically selecting the threshold. As hard thresholding is not even continuous, Stein's lemma cannot be used to get an unbiased estimator of degrees of freedom, hence of the risk. We prove that under a mild condition, our estimator of the degrees of freedom, although biased, is consistent. Numerical evidence shows that our estimator outperforms another biased risk estimator.

研究动机与目标

• 解决硬阈值化无偏风险估计的挑战，因其不连续性而使Stein引理失效。
• 在高维渐近情形（P → ∞）下，为硬阈值化构建自由度的一致估计器。
• 构建一个风险估计器，以实现在稀疏信号恢复问题中的最优阈值选择。
• 确保在信号和带宽的温和条件下，估计器在概率和期望下保持一致。

提出的方法

• 将硬阈值化分解为软阈值化与一个不连续的校正项 D(y,λ)。
• 使用带宽为 h 的高斯核 Gh 对不连续项 D(y,λ) 进行卷积平滑。
• 通过卷积的散度估计平滑算子的散度，从而可应用Stein引理。
• 引入偏差校正因子 √(σ² + h²)/σ，以提高自由度估计器的渐近一致性。
• 基于平滑散度和数据相关项，构建类似SURE的风险估计器（即SCORE）。
• 采用带宽 h = ŷh(P)，其满足当 P → ∞ 时 h → 0，且 P⁻¹h⁻¹ → 0，以确保一致性。

实验结果

研究问题

• RQ1 尽管硬阈值化不可微，能否构建一个一致的自由度估计器？
• RQ2 所提出的平滑散度估计器是否在维度 P → ∞ 时以概率收敛于真实自由度？
• RQ3 由此产生的风险估计器（SCORE）是否在估计硬阈值化的真正预测风险方面具有一致性？
• RQ4 带宽 h 的选择如何影响自由度估计器的偏差与方差？
• RQ5 在实践中，SCORE能否在阈值选择方面优于现有有偏风险估计器？

主要发现

• 在信号和带宽满足温和条件时，所提出的自由度估计器 ŷdf{HT}(Y,λ,h) 在 P → ∞ 时以概率和期望一致。
• 归一化自由度估计器的方差随 P → ∞ 而趋于零，确保了依概率收敛。
• SCORE风险估计器具有渐近一致性：其归一化期望收敛于真实预测风险。
• 即使信号范数增长缓慢，只要 ‖x₀‖₄ = o(P¹ᐟ²)，估计器仍保持一致。
• 数值证据表明，SCORE在风险估计精度方面优于先前提出的有偏风险估计器。
• 估计器通过核平滑与带宽缩放的平衡，实现了偏差的降低，从而达到一致性。