[论文解读] The Degrees of Freedom of Partly Smooth Regularizers

Samuel Vaiter, Charles‐Alban Deledalle+3 more|arXiv (Cornell University)|Apr 22, 2014

Statistical Methods and Inference参考文献 10被引用 5

一句话总结

本文提出了一种统一框架，用于分析使用部分光滑正则化器的正则化回归估计器的自由度——即凸的、下半连续的函数，其在黎曼子流形上是光滑的。通过利用活跃流形上的局部稳定性和光滑性，作者推导出一个几乎处处成立的自由度的闭式表达式，使得即使在设计矩阵秩亏的情况下，也能实现无偏风险估计，从而推广了对Lasso、组Lasso和总变差惩罚的先前结果。

ABSTRACT

In this paper, we are concerned with regularized regression problems where the prior regularizer is a proper lower semicontinuous and convex function which is also partly smooth relative to a Riemannian submanifold. This encompasses as special cases several known penalties such as the Lasso ($\ell^1$-norm), the group Lasso ($\ell^1-\ell^2$-norm), the $\ell^\infty$-norm, and the nuclear norm. This also includes so-called analysis-type priors, i.e. composition of the previously mentioned penalties with linear operators, typical examples being the total variation or fused Lasso penalties.We study the sensitivity of any regularized minimizer to perturbations of the observations and provide its precise local parameterization.Our main sensitivity analysis result shows that the predictor moves locally stably along the same active submanifold as the observations undergo small perturbations. This local stability is a consequence of the smoothness of the regularizer when restricted to the active submanifold, which in turn plays a pivotal role to get a closed form expression for the variations of the predictor w.r.t. observations. We also show that, for a variety of regularizers, including polyhedral ones or the group Lasso and its analysis counterpart, this divergence formula holds Lebesgue almost everywhere.When the perturbation is random (with an appropriate continuous distribution), this allows us to derive an unbiased estimator of the degrees of freedom and of the risk of the estimator prediction.Our results hold true without requiring the design matrix to be full column rank.They generalize those already known in the literature such as the Lasso problem, the general Lasso problem (analysis $\ell^1$-penalty), or the group Lasso where existing results for the latter assume that the design is full column rank.

研究动机与目标

• 开发一种适用于部分光滑正则化器的正则化回归中自由度的一般理论，扩展经典假设（如列满秩）的适用范围。
• 通过分析解路径在活跃流形上的行为，表征正则化估计器在观测扰动下的局部稳定性。
• 为包括多面体和组-lasso 类型在内的广泛正则化器类，推导出自由度和预测风险的无偏估计量。
• 在最小假设下建立自由度公式的有效性，包括非满秩设计矩阵的情况。
• 利用 o-极小结构和可定义集，确保分析的数学严谨性，特别是针对次微分和流形涉及的部分。

提出的方法

• 使用相对于黎曼子流形的部分光滑性概念，描述正则化器在解附近的结构。
• 分析观测值变化时解路径的局部参数化，表明在小扰动下，预测器沿同一活跃流形平滑移动。
• 基于活跃流形的维数和其上正则化器的光滑性，推导出自由度的闭式表达式。
• 应用半代数和 o-极小几何的工具，确保关键集合（如次微分、相对内部）的可定义性，从而支持测度论论证。
• 证明自由度公式对多面体正则化器和组-lasso 类型正则化器几乎处处成立。
• 利用公式的几乎处处有效性，在扰动分布为连续分布时，构建预测风险的无偏估计量。

实验结果

研究问题

• RQ1 如何为具有部分光滑正则化器的正则化估计器一致地定义和计算自由度？
• RQ2 在何种条件下，解路径在小观测扰动下保持局部稳定且可微？
• RQ3 自由度公式能否推广到设计矩阵非列满秩的情况？
• RQ4 部分光滑性和流形结构在实现自由度闭式计算中起到什么作用？
• RQ5 如何为组Lasso和分析型惩罚等复杂正则化器建立自由度公式几乎处处有效的证明？

主要发现

• 在温和的正则性条件下，具有部分光滑正则化器的正则化估计器的自由度等于解所在的活跃流形的维数。
• 由于正则化器在该流形上的光滑性，解路径在小观测扰动下沿同一活跃流形保持局部稳定且可微。
• 即使设计矩阵秩亏，自由度公式对多面体正则化器和组Lasso型惩罚也几乎处处成立。
• 当扰动分布为连续分布时，可利用自由度公式构造预测风险的无偏估计量。
• 该框架通过取消对设计矩阵列满秩的假设，推广了现有关于Lasso、组Lasso和总变差惩罚的结果。
• o-极小结构的使用确保了关键集合（如次微分、相对内部）的可定义性，从而支持对解路径的严谨测度论分析。