[论文解读] Adaptive Risk Bounds in Univariate Total Variation Denoising and Trend Filtering

Adityanand Guntuboyina, Donovan Lieu+2 more|arXiv (Cornell University)|Feb 16, 2017

Statistical Methods and Inference参考文献 36被引用 13

一句话总结

本文为一元趋势滤波和总变差去噪建立了自适应风险界，表明当函数具有较少拐点（强稀疏性）时，估计器在对数因子范围内达到参数化的 $ n^{-1} $ 收敛速率。该方法利用高阶离散差分以在样条类结构中促进稀疏性，理论保证通过度量熵和切锥分析获得。

ABSTRACT

We study trend filtering, a relatively recent method for univariate nonparametric regression. For a given positive integer $r$, the $r$-th order trend filtering estimator is defined as the minimizer of the sum of squared errors when we constrain (or penalize) the sum of the absolute $r$-th order discrete derivatives of the fitted function at the design points. For $r=1$, the estimator reduces to total variation regularization which has received much attention in the statistics and image processing literature. In this paper, we study the performance of the trend filtering estimator for every positive integer $r$, both in the constrained and penalized forms. Our main results show that in the strong sparsity setting when the underlying function is a (discrete) spline with few "knots", the risk (under the global squared error loss) of the trend filtering estimator (with an appropriate choice of the tuning parameter) achieves the parametric $n^{-1}$ rate, up to a logarithmic (multiplicative) factor. Our results therefore provide support for the use of trend filtering, for every $r$, in the strong sparsity setting.

研究动机与目标

• 在强稀疏性条件下，为一元非参数回归中的趋势滤波估计器建立风险界。
• 证明当真实函数为稀疏离散样条时，$ r $ 阶趋势滤波估计器可达到参数化 $ n^{-1} $ 速率。
• 统一分析所有 $ r \geq 1 $ 情况下趋势滤波的约束形式与惩罚形式的理论性质。
• 为趋势滤波在稀疏、分段多项式设定中的使用提供理论依据。

提出的方法

• 第 $ r $ 阶趋势滤波估计器被定义为在拟合函数的 $ r $ 阶离散差分上施加 $ \ell^1 $ 惩罚的平方误差最小化器。
• 约束形式对 $ r $ 阶差分的 $ \ell^1 $-范数施加上界 $ V $，而惩罚形式则使用调参 $ \lambda $。
• 理论分析依赖于度量熵界和切锥方法，以刻画估计器的局部几何结构。
• 关键不等式通过离散差分算子和凸性论证推导得出，特别涉及 $ r $ 阶离散导数 $ D^{(r)}\theta $。
• 分析将 $ \|D^{(r)}\theta\|_0 $ 与具有 $ k+1 $ 个次数为 $ r-1 $ 的多项式段的离散样条联系起来，从而实现基于稀疏性的风险控制。
• 通过 AM-GM 不等式和拐点位置的间距约束，推导出 $ r $ 阶差分绝对值之和的下界。

实验结果

研究问题

• RQ1 在强稀疏性存在的情况下，趋势滤波是否能达到参数化 $ n^{-1} $ 速率？
• RQ2 趋势滤波的风险如何随真实函数中拐点数量的变化而变化？
• RQ3 趋势滤波的理论性能能否在约束形式与惩罚形式之间实现统一？
• RQ4 高阶离散差分在促进稀疏性和提高估计精度方面起什么作用？
• RQ5 度量熵和切锥方法如何应用于趋势滤波等非光滑、非参数估计器？

主要发现

• 对于 $ r \geq 1 $，在强稀疏性下，趋势滤波估计器的风险界为 $ n^{-1} \log n $ 阶，与参数速率仅相差对数因子。
• 在适当调参下，趋势滤波的约束形式与惩罚形式表现出相似的风险性能。
• 当底层函数为拐点较少的离散样条时，$ r $ 阶离散导数 $ D^{(r)}\theta $ 具有稀疏性，从而实现自适应估计。
• 推导出 $ r $ 阶差分绝对值之和的下界为 $ \Omega((m - r)^r / n^{r-1}) $，其中 $ m $ 为拐点数。
• 分析证实，即使 $ r > 1 $，趋势滤波也能自适应于底层函数的稀疏性水平。
• 通过切锥和度量熵技术建立了理论保证，将总变差去噪的结果推广至高阶滤波。