[论文解读] A sufficient condition on monotonic increase of the number of nonzero entry in the optimizer of L1 norm penalized least-square problem

Junbo Duan, Charles Soussen+3 more|arXiv (Cornell University)|Apr 19, 2011

Sparse and Compressive Sensing Techniques被引用 5

一句话总结

本文提出了一项充分条件，即当正则化参数λ减小时，ℓ1-范数惩罚最小二乘问题解中非零条目的数量单调递增。该条件——Gram矩阵AᵀA的逆矩阵为对角占优——可确保单调支持扩展，并可推广至总变差正则化。与Efron等人提出的正锥条件相比，该条件更易于验证，且与Donoho等人提出的k步解条件不同，无需事先知道信号的稀疏性。

ABSTRACT

The $\ell$-1 norm based optimization is widely used in signal processing, especially in recent compressed sensing theory. This paper studies the solution path of the $\ell$-1 norm penalized least-square problem, whose constrained form is known as Least Absolute Shrinkage and Selection Operator (LASSO). A solution path is the set of all the optimizers with respect to the evolution of the hyperparameter (Lagrange multiplier). The study of the solution path is of great significance in viewing and understanding the profile of the tradeoff between the approximation and regularization terms. If the solution path of a given problem is known, it can help us to find the optimal hyperparameter under a given criterion such as the Akaike Information Criterion. In this paper we present a sufficient condition on $\ell$-1 norm penalized least-square problem. Under this sufficient condition, the number of nonzero entries in the optimizer or solution vector increases monotonically when the hyperparameter decreases. We also generalize the result to the often used total variation case, where the $\ell$-1 norm is taken over the first order derivative of the solution vector. We prove that the proposed condition has intrinsic connections with the condition given by Donoho, et al \cite{Donoho08} and the positive cone condition by Efron {\it el al} \cite{Efron04}. However, the proposed condition does not need to assume the sparsity level of the signal as required by Donoho et al's condition, and is easier to verify than Efron, et al's positive cone condition when being used for practical applications.

研究动机与目标

• 建立一个充分条件，以确保ℓ1-正则化最小二乘问题最优解中非零条目数量随λ减小而单调增加。
• 将单调性结果推广至总变差正则化情形，其中ℓ1范数作用于解的一阶差分。
• 证明所提出的条件比现有条件（如Donoho等人提出的k步解性质和Efron等人提出的正锥条件）更具实用性与普遍性。
• 为LASSO型问题中单调支持演化的可验证准则提供依据，而无需事先知道信号的稀疏性。
• 通过在设计矩阵A上建立结构条件，为同伦法与LARS算法提供理论基础。

提出的方法

• 将ℓ1-正则化最小二乘问题定义为最小化 ½‖y − Au‖² + λ‖u‖₁，其中λ > 0为正则化参数。
• 引入关键条件：Gram矩阵的逆矩阵(AᵀA)⁻¹必须为对角占优（DD），即对所有i满足|(AᵀA)⁻¹_ii| ≥ Σⱼ≠ᵢ |(AᵀA)⁻¹_ij|。
• 证明若(AᵀA)⁻¹为DD，则活动集（即u*中非零条目数量）的基数随λ减小而单调增加。
• 通过定义一阶差分矩阵D，使优化问题作用于Dx，将结果应用于总变差情形，并证明若DDᵀ为DD，则单调性依然成立。
• 利用分块矩阵求逆及矩阵占优性质的递归应用，证明(AᵀA)⁻¹的子矩阵在主子矩阵运算下仍保持对角占优。
• 利用解路径的分段线性结构，证明单调支持扩展可支持通过同伦法或LARS算法实现高效的路径追踪。

实验结果

研究问题

• RQ1 在设计矩阵A满足何种条件下，ℓ1-正则化最小二乘问题解中非零条目数量随λ减小而单调增加？
• RQ2 所提出的条件与现有理论条件（如Donoho等人提出的k步解性质和Efron等人提出的正锥条件）有何关系？
• RQ3 单调支持扩展的单调性是否可推广至总变差正则化情形，其中ℓ1范数作用于解的一阶差分？
• RQ4 与正锥条件相比，该条件在实践中是否更易于验证，特别是在真实稀疏性水平未知时？
• RQ5 是否(AᵀA)⁻¹的对角占优性可确保解路径为分段线性，并支持通过同伦法或LARS方法实现高效计算？

主要发现

• 若(AᵀA)⁻¹为对角占优，则ℓ1-正则化最小二乘问题最优解中非零条目数量随λ减小而单调增加。
• 在给定公式设定下，该条件对标准LASSO问题中单调支持扩展而言，既是必要也是充分条件。
• 在总变差情形下，若矩阵DDᵀ为对角占优（其中D为一阶差分矩阵），则单调性成立。
• 所提出的条件比Efron等人提出的正锥条件更具普遍性，且无需测试所有可能的符号配置，因此在验证时更具实用性。
• 该条件与Donoho等人提出的k步解性质等价或更具普遍性，但与后者不同的是，它无需事先知道信号的稀疏性水平。
• 该理论基础支持高效的路径追踪算法（如同伦法与LARS），因为单调支持演化使得在断点之间可进行可靠的线性插值。