[论文解读] Total Variation Classes Beyond 1d: Minimax Rates, and the Limitations of Linear Smoothers

Veeranjaneyulu Sadhanala, Yu-Xiang Wang+1 more|arXiv (Cornell University)|May 26, 2016

Statistical Methods and Inference参考文献 22被引用 36

一句话总结

该论文为d维网格上的总变差（TV）去噪建立了极小极大最优估计速率，证明TV去噪（融合Lasso）在有界TV函数类上为速率最优。相比之下，拉普拉斯平滑和拉普拉斯特征映射等线性平滑器在处理此类非光滑、高变差函数时被证明是次优的，揭示了高维情形下统计-计算权衡的根本性问题。

ABSTRACT

We consider the problem of estimating a function defined over $n$ locations on a $d$-dimensional grid (having all side lengths equal to $n^{1/d}$). When the function is constrained to have discrete total variation bounded by $C_n$, we derive the minimax optimal (squared) $\ell_2$ estimation error rate, parametrized by $n$ and $C_n$. Total variation denoising, also known as the fused lasso, is seen to be rate optimal. Several simpler estimators exist, such as Laplacian smoothing and Laplacian eigenmaps. A natural question is: can these simpler estimators perform just as well? We prove that these estimators, and more broadly all estimators given by linear transformations of the input data, are suboptimal over the class of functions with bounded variation. This extends fundamental findings of Donoho and Johnstone [1998] on 1-dimensional total variation spaces to higher dimensions. The implication is that the computationally simpler methods cannot be used for such sophisticated denoising tasks, without sacrificing statistical accuracy. We also derive minimax rates for discrete Sobolev spaces over $d$-dimensional grids, which are, in some sense, smaller than the total variation function spaces. Indeed, these are small enough spaces that linear estimators can be optimal---and a few well-known ones are, such as Laplacian smoothing and Laplacian eigenmaps, as we show. Lastly, we investigate the problem of adaptivity of the total variation denoiser to these smaller Sobolev function spaces.

研究动机与目标

• 推导在d维网格上具有有界离散总变差的函数的极小极大最优估计速率。
• 研究计算更简单的线性估计器（如拉普拉斯平滑和拉普拉斯特征映射）是否能实现与TV去噪相当的统计性能。
• 将总变差类的极小极大速率与更小的离散Sobolev空间的速率进行比较，其中线性估计器可能是最优的。
• 检验TV去噪对更小的Sobolev函数类的自适应性，评估其是否在无需事先知晓光滑性类别的前提下自动达到最优速率。

提出的方法

• 推导在具有有界总变差的d维网格图上，平方ℓ2估计误差的极小极大下界与上界。
• 利用d维网格图的图拉普拉斯矩阵的显式特征值分析，结合Kronecker积结构与三角恒等式。
• 应用积分界与球坐标变换控制特征值之和，特别是拉普拉斯估计器中(I + λL)^{-2}的迹。
• 通过将其最坏情况风险与极小极大下界比较，证明线性估计器（拉普拉斯平滑与特征映射）在d ≥ 2时对总变差类是次优的。
• 推导d维网格上离散Sobolev空间的极小极大速率，表明这些是更小的函数类，线性估计器在其中可达到最优。
• 通过比较TV去噪在其风险与这些更小空间上的极小极大速率，分析TV去噪对Sobolev类的自适应性。

实验结果

研究问题

• RQ1 在d维网格上，具有有界总变差的函数的极小极大最优估计速率是什么？
• RQ2 在d ≥ 2时，拉普拉斯平滑与拉普拉斯特征映射等线性估计器能否在总变差类上达到极小极大最优速率？
• RQ3 离散Sobolev空间的极小极大速率与总变差类相比如何？线性估计器在前者中是否能达到最优？
• RQ4 TV去噪器是否对更小的Sobolev函数类具有自适应性，即是否在不事先知道光滑性类别的情况下自动达到极小极大速率？

主要发现

• 在总变差有界于C_n ≍ n^{1 - 1/d}的d维网格上，总变差函数的极小极大最优平方ℓ2估计误差速率随n^{-2/(d+2)}变化。
• TV去噪（融合Lasso）达到了该极小极大速率，因此在总变差类上为速率最优。
• 尽管拉普拉斯平滑与拉普拉斯特征映射是线性估计器且计算高效，但在d ≥ 2时对总变差类被证明是次优的。
• 对于更小的离散Sobolev空间（具有更高光滑性），极小极大速率严格优于总变差类，且拉普拉斯平滑与特征映射等线性估计器在这些空间上可达到最优。
• 本文证明，线性估计器在总变差类上的次优性并非源于计算限制，而是根本性的统计限制。
• 2D与3D的实验结果证实，即使在两者均经过最佳调优的情况下，TV去噪在均方误差上仍优于拉普拉斯平滑，与线性方法的理论次优性一致。