[論文レビュー] A sufficient condition on monotonic increase of the number of nonzero entry in the optimizer of L1 norm penalized least-square problem

Junbo Duan, Charles Soussen+3 more|arXiv (Cornell University)|Apr 19, 2011

Sparse and Compressive Sensing Techniques被引用数 5

ひとこと要約

この論文は、正則化パrameter λ を小さくするにつれて、ℓ1ノルムペナルティ付き最小二乗問題の解における非ゼロ要素の数が単調に増加するための十分条件を提案する。その条件とは、グラム行列 AᵀA の逆行列が対角優勢であることである。この条件により、単調なサポート拡張が保証され、全変動正則化へ一般化可能である。Efron らの正の錐条件よりも検証が容易であり、Donoho らの k ステップ解条件とは異なり、信号のスパarsityに関する事前知識を必要としない。

ABSTRACT

The $\ell$-1 norm based optimization is widely used in signal processing, especially in recent compressed sensing theory. This paper studies the solution path of the $\ell$-1 norm penalized least-square problem, whose constrained form is known as Least Absolute Shrinkage and Selection Operator (LASSO). A solution path is the set of all the optimizers with respect to the evolution of the hyperparameter (Lagrange multiplier). The study of the solution path is of great significance in viewing and understanding the profile of the tradeoff between the approximation and regularization terms. If the solution path of a given problem is known, it can help us to find the optimal hyperparameter under a given criterion such as the Akaike Information Criterion. In this paper we present a sufficient condition on $\ell$-1 norm penalized least-square problem. Under this sufficient condition, the number of nonzero entries in the optimizer or solution vector increases monotonically when the hyperparameter decreases. We also generalize the result to the often used total variation case, where the $\ell$-1 norm is taken over the first order derivative of the solution vector. We prove that the proposed condition has intrinsic connections with the condition given by Donoho, et al \cite{Donoho08} and the positive cone condition by Efron {\it el al} \cite{Efron04}. However, the proposed condition does not need to assume the sparsity level of the signal as required by Donoho et al's condition, and is easier to verify than Efron, et al's positive cone condition when being used for practical applications.

研究の動機と目的

• λ を小さくするにつれて、ℓ1-正則化最小二乗問題の最適化子における非ゼロ要素の数が単調に増加することを保証する十分条件を確立すること。
• ℓ1ノルムが解の一次差分に適用される全変動正則化の場合にも、単調性の結果を一般化すること。
• 提案された条件が、Donoho らの k ステップ解性質や Efron らの正の錐条件といった既存の条件よりも、実用的かつ包括的であることを示すこと。
• 信号のスパarsityに関する事前知識を必要とせずに、LASSO 型問題における単調なサポート進化を検証可能な基準として提供すること。
• 設計行列 A に構造的条​​件を課すことで、ホモトピー法や LARS アルゴリズムの理論的基盤を強化すること。

提案手法

• ℓ1-正則化最小二乗問題を、正則化パrameter λ > 0 を用いて ½‖y − Au‖² + λ‖u‖₁ を最小化する形で定式化する。
• 鍵となる条件を導入する：グラム行列の逆行列 (AᵀA)⁻¹ が対角優勢（DD）であること、すなわちすべての i に対して |(AᵀA)⁻¹_ii| ≥ Σⱼ≠ᵢ |(AᵀA)⁻¹_ij| を満たすこと。
• もし (AᵀA)⁻¹ が DD であれば、アクティブ集合（u* における非ゼロ要素の数）の濃度が λ を小さくするにつれて単調に増加することを証明する。
• 一次差分行列 D を定義し、最適化を Dx に関して行うことで全変動の場合に応用し、DDᵀ が DD であれば同様の単調性が成り立つことを示す。
• ブロック行列の逆行列と行列の優勢性性質の再帰的適用を用いて、(AᵀA)⁻¹ の部分行列が主成分部分行列操作のもとでも対角優勢のままであることを証明する。
• 解パスの区分的線形構造を活用し、単調なサポート拡張がホモトピー法や LARS アルゴリズムによる効率的なパス追跡を可能にすることを正当化する。

実験結果

リサーチクエスチョン

• RQ1 設計行列 A にどのような条件が課されると、ℓ1-正則化最小二乗問題の解における非ゼロ要素の数が λ を小さくするにつれて単調に増加するか？
• RQ2 提案された条件は、Donoho らの k ステップ解性質や Efron らの正の錐条件といった既存の理論的条件とどのように関係するか？
• RQ3 ℓ1ノルムが解の一次差分に適用される全変動正則化の場合にも、サポート拡張の単調性を拡張できるか？
• RQ4 真のスパarsityレベルが不明な場合でも、正の錐条件よりも提案された条件の方が実用的に検証しやすいか？
• RQ5 (AᵀA)⁻¹ の対角優勢性が、解パスが区分的線形であり、ホモトピー法や LARS 法による効率的な計算を可能にするか？

主な発見

• もし (AᵀA)⁻¹ が対角優勢であれば、ℓ1-正則化最小二乗問題の最適化子における非ゼロ要素の数は λ を小さくするにつれて単調に増加する。
• 与えられた定式化のもとで、標準的な LASSO 問題において、この条件は単調なサポート拡張の必要十分条件である。
• 全変動の場合、行列 DDᵀ が対角優勢であれば、単調性が成り立つ。ここで D は一次差分行列である。
• 提案された条件は Efron らの正の錐条件よりも包括的であり、すべての可能な符号配置のテストを必要としないため、検証が実用的である。
• この条件は Donoho らの k ステップ解性質と同等またはより一般であるが、それとは異なり信号のスパarsityレベルに関する事前知識を必要としない。
• 理論的基盤により、ホモトピー法や LARS アルゴリズムのような効率的なパス追跡アルゴリズムが支えられ、単調なサポート進化によりブレークポイント間の信頼性の高い線形補間が可能になる。