[论文解读] The Degrees of Freedom of the Group Lasso

Samuel Vaiter, Charles Deledalle+3 more|arXiv (Cornell University)|May 7, 2012

Statistical Methods and Inference参考文献 12被引用 8

一句话总结

本文通过观测的敏感性分析与解映射的散度，提供了对组Lasso解的严格局部参数化，实现了对自由度（DOF）的无偏估计。关键贡献是提出一个可证明无偏的DOF估计器，支持使用AIC、SURE或GCV等准则进行合理模型选择。

ABSTRACT

This paper studies the sensitivity to the observations of the block/group Lasso solution to an overdetermined linear regression model. Such a regularization is known to promote sparsity patterns structured as nonoverlapping groups of coefficients. Our main contribution provides a local parameterization of the solution with respect to the observations. As a byproduct, we give an unbiased estimate of the degrees of freedom of the group Lasso. Among other applications of such results, one can choose in a principled and objective way the regularization parameter of the Lasso through model selection criteria.

研究动机与目标

• 开发组Lasso解关于观测向量y的局部参数化。
• 为组Lasso提供一个无偏的自由度（DOF）估计器，以量化模型复杂度。
• 通过AIC、SURE或GCV等模型选择准则，实现正则化参数的客观选择。
• 将先前关于Lasso DOF的结果扩展至非重叠块的组Lasso结构稀疏设置。
• 为一般设计矩阵下的块稀疏正则化中的敏感性分析建立理论基础。

提出的方法

• 利用Karush-Kuhn-Tucker（KKT）条件和活动块支持I，推导组Lasso解β⋆(y)的局部隐式参数化。
• 应用隐函数定理，计算β⋆(y)关于y的导数，得到涉及拉格朗日函数Hessian逆的表达式。
• 引入块对角算子δβ和正交投影P⊥β，以刻画组L1惩罚项的次梯度结构。
• 定义一个测度为零的临界集H，使得解在该集合上不可微，从而保证预测映射ŷ(y) = Xβ⋆(y)几乎处处可微。
• 利用Stein引理和弱可微性，证明ŷ(y)的雅可比矩阵的迹是自由度的无偏估计器。
• 推导出自由度估计器，其形式为对活动块上投影算子的迹之和，涉及法锥结构与残差结构。

实验结果

研究问题

• RQ1 组Lasso解如何随观测向量y的扰动而变化？
• RQ2 在一般设计矩阵下，能否为组Lasso推导出无偏的自由度估计器？
• RQ3 当活动块支持固定时，解的敏感性具有何种结构？
• RQ4 如何利用自由度客观选择组Lasso中的正则化参数λ？
• RQ5 组Lasso解在何种条件下是弱可微的，其预测映射的散度是什么？

主要发现

• 组Lasso解β⋆(y)在ℝ^Q上几乎处处C¹光滑，仅在Lebesgue测度为零的集合H上不可微。
• 组Lasso的自由度由预测映射ŷ(y) = Xβ⋆(y)的雅可比矩阵的迹给出，该迹是真实自由度的无偏估计器。
• 在单位设计情形下，自由度估计器可表示为∑_{b∈I} tr(P⊥β_b) = ∑_{b∈I} (|b| - 1)，其中I为活动块支持。
• 对于一般设计矩阵，自由度由解映射的散度给出，涉及拉格朗日函数Hessian的逆与法锥结构。
• 所提出的自由度估计器是无偏的，适用于AIC、SURE和GCV等模型选择准则。
• 临界集H（解不可微的集合）被证明是若干维数为Q−1的流形的有限并集，因此其Lebesgue测度为零。