[논문 리뷰] A sufficient condition on monotonic increase of the number of nonzero entry in the optimizer of L1 norm penalized least-square problem

Junbo Duan, Charles Soussen외 3명|arXiv (Cornell University)|2011. 04. 19.

Sparse and Compressive Sensing Techniques인용 수 5

한 줄 요약

이 논문은 λ 감소 시 ℓ1-노름 페널티가 부여된 최소제곱 문제의 해에서 비영인 원소의 수가 단조적으로 증가하는 데 충분한 조건을 제안한다. 그 조건은 AᵀA의 역행렬이 대각지배(diagonally dominant)일 것임을 요구하며, 이 조건은 단조적 지원 확장을 보장하고 전체 미분 정규화로 일반화된다. 이는 Efron 등이 제안한 양의 원뿔 조건보다 검증이 용이하며, Donoho 등이 제안한 k단계 해 속성과 달리 신호의 희박성에 대한 사전 지식이 필요하지 않다.

ABSTRACT

The $\ell$-1 norm based optimization is widely used in signal processing, especially in recent compressed sensing theory. This paper studies the solution path of the $\ell$-1 norm penalized least-square problem, whose constrained form is known as Least Absolute Shrinkage and Selection Operator (LASSO). A solution path is the set of all the optimizers with respect to the evolution of the hyperparameter (Lagrange multiplier). The study of the solution path is of great significance in viewing and understanding the profile of the tradeoff between the approximation and regularization terms. If the solution path of a given problem is known, it can help us to find the optimal hyperparameter under a given criterion such as the Akaike Information Criterion. In this paper we present a sufficient condition on $\ell$-1 norm penalized least-square problem. Under this sufficient condition, the number of nonzero entries in the optimizer or solution vector increases monotonically when the hyperparameter decreases. We also generalize the result to the often used total variation case, where the $\ell$-1 norm is taken over the first order derivative of the solution vector. We prove that the proposed condition has intrinsic connections with the condition given by Donoho, et al \cite{Donoho08} and the positive cone condition by Efron {\it el al} \cite{Efron04}. However, the proposed condition does not need to assume the sparsity level of the signal as required by Donoho et al's condition, and is easier to verify than Efron, et al's positive cone condition when being used for practical applications.

연구 동기 및 목표

• λ 감소 시 ℓ1-정규화된 최소제곱 문제의 최적화 해에서 비영인 원소의 수가 단조적으로 증가함을 보장하는 충분조건을 확립하는 것.
• 이러한 단조성 결과를 해의 1차 차분에 대해 ℓ1 노름이 적용되는 총 미분 정규화의 경우로 일반화하는 것.
• 제안된 조건이 Donoho 등이 제안한 k단계 해 속성과 Efron 등이 제안한 양의 원뿔 조건과 같은 기존 조건들보다 더 실용적이고 일반적인지를 보여주는 것.
• 신호의 희박성에 대한 사전 지식이 필요 없이 LASSO 유형 문제에서의 단조적 지원 진화를 검증 가능한 기준으로 제공하는 것.
• 설계 행렬 A에 대한 구조적 조건을 확립하여 호모토피 및 LARS 알고리즘의 이론적 기반을 강화하는 것.

제안 방법

• 정규화 매개변수 λ > 0를 가진 ℓ1-정규화된 최소제곱 문제를 ½‖y − Au‖² + λ‖u‖₁의 최소화로 정의한다.
• 핵심 조건을 도입: 그람 행렬 (AᵀA)⁻¹의 역행렬이 대각지배(Diagonally Dominant, DD)여야 하며, 즉 모든 i에 대해 |(AᵀA)⁻¹_ii| ≥ Σⱼ≠ᵢ |(AᵀA)⁻¹_ij| 를 만족해야 한다.
• (AᵀA)⁻¹이 DD일 경우, 활성 집합의 기수(해 u*에서 비영인 원소의 수)가 λ 감소에 따라 단조적으로 증가함을 증명한다.
• 1차 차분 행렬 D를 정의하여 총 미분 정규화의 경우에 적용하며, Dx에 대해 최적화를 수행하고, DDᵀ가 DD일 경우 동일한 단조성 결과가 성립함을 보인다.
• 블록 행렬 역행렬과 행렬 지배 성질의 반복적 적용을 통해 (AᵀA)⁻¹의 부분행렬이 주된 부분행렬 연산에 대해 여전히 대각지배임을 증명한다.
• 해 경로의 조각별 선형 구조를 활용하여, 단조적 지원 확장이 호모토피 또는 LARS 알고리즘을 통한 효율적 경로 추적을 가능하게 함을 정당화한다.

실험 결과

연구 질문

• RQ1 설계 행렬 A에 대해 어떤 조건이 ℓ1-정규화된 최소제곱 문제의 해에서 비영인 원소의 수가 λ 감소 시 단조적으로 증가하는가?
• RQ2 제안된 조건은 Donoho 등이 제안한 k단계 해 속성과 Efron 등이 제안한 양의 원뿔 조건과 어떻게 관련이 있는가?
• RQ3 ℓ1 노름이 해의 1차 차분에 적용되는 총 미분 정규화의 경우로 단조적 지원 확장 결과를 확장할 수 있는가?
• RQ4 진짜 희박성 수준이 알려져 있지 않은 상황에서, 이 조건은 양의 원뿔 조건보다 실용적으로 검증하기 쉬운가?
• RQ5 (AᵀA)⁻¹의 대각지배성은 해 경로가 조각별 선형인지를 보장하며, 이는 호모토피 또는 LARS 방법을 통한 효율적 계산을 가능하게 하는가?

주요 결과

• 만약 (AᵀA)⁻¹가 대각지배이면, ℓ1-정규화된 최소제곱 문제의 최적해에서 비영인 원소의 수는 λ 감소에 따라 단조적으로 증가한다.
• 제시된 설정 하에서 표준 LASSO 문제에서 단조적 지원 확장을 위한 조건은 필수적이고 충분하다.
• 총 미분 정규화의 경우, 행렬 DDᵀ가 대각지배일 경우 단조성이 유지된다. 여기서 D는 1차 차분 행렬이다.
• 제안된 조건은 Efron 등이 제안한 양의 원뿔 조건보다 더 일반적이며, 모든 가능한 부호 조합을 테스트할 필요가 없어 검증이 더 실용적이다.
• 제안된 조건은 Donoho 등이 제안한 k단계 해 속성과 동치이거나 더 일반적이지만, 그와 달리 신호의 희박성 수준에 대한 사전 지식이 필요하지 않다.
• 이론적 기반은 호모토피 및 LARS 알고리즘과 같은 효율적 경로 추적 알고리즘을 지지하며, 단조적 지원 진화는 분할점 간의 신뢰할 수 있는 선형 보간을 가능하게 한다.