[논문 리뷰] Regularizers for Structured Sparsity

Charles A. Micchelli, Jean M. Morales외 1명|arXiv (Cornell University)|2010. 10. 04.

Sparse and Compressive Sensing Techniques참고 문헌 24인용 수 6

한 줄 요약

이 논문은 선형 회귀에서 회귀 계수의 스파arsity 패턴에 대한 사전 지식을 통합함으로써 구조적 스파arsity를 강제하는 일련의 볼록 페널티 함수를 소개한다. 이 방법은 ℓ₁ 노름과 볼록 집합 Λ의 이unge르 콜라츠션(infimal convolution)에 기반한 페널티 함수를 사용하여, 구조적 스파arsity가 존재할 경우 Lasso보다 효율적인 최적화와 향상된 추정 정확도를 달성한다.

ABSTRACT

We study the problem of learning a sparse linear regression vector under additional conditions on the structure of its sparsity pattern. This problem is relevant in machine learning, statistics and signal processing. It is well known that a linear regression can benefit from knowledge that the underlying regression vector is sparse. The combinatorial problem of selecting the nonzero components of this vector can be "relaxed" by regularizing the squared error with a convex penalty function like the $\ell_1$ norm. However, in many applications, additional conditions on the structure of the regression vector and its sparsity pattern are available. Incorporating this information into the learning method may lead to a significant decrease of the estimation error. In this paper, we present a family of convex penalty functions, which encode prior knowledge on the structure of the vector formed by the absolute values of the regression coefficients. This family subsumes the $\ell_1$ norm and is flexible enough to include different models of sparsity patterns, which are of practical and theoretical importance. We establish the basic properties of these penalty functions and discuss some examples where they can be computed explicitly. Moreover, we present a convergent optimization algorithm for solving regularized least squares with these penalty functions. Numerical simulations highlight the benefit of structured sparsity and the advantage offered by our approach over the Lasso method and other related methods.

연구 동기 및 목표

• 고차원 회귀에서 표준 Lasso가 구조적 스파arsity 패턴을 다루는 데에 한계가 있음을 해결하기 위해.
• 비제로 회귀 계수의 구조에 대한 사전 지식을 인코딩하는 볼록적이고 해석 가능한 정규화 프레임워크를 개발하기 위해.
• 구조적 스파arsity를 위한 효율적인 최적화를 가능하게 하면서도 스파arsity 패턴 선택에 대한 이론적 보장을 유지하기 위해.
• 구조적 스파arsity가 존재할 경우 기존의 Lasso 및 그룹 Lasso 방법보다 낮은 추정 오차를 달성할 수 있음을 보여주기 위해.

제안 방법

• 비제로 계수의 구조에 대한 사전 지식을 인코딩하기 위해, ℓ₁ 노름과 볼록 집합 Λ의 이unge르 콜라츠션(infimal convolution)에 기반한 페널티 함수 Ω(β|Λ)을 제안한다.
• 페널티는 Ω(β|Λ) = inf{½∑(βᵢ²/λᵢ + λᵢ) : λ ∈ Λ}로 표현되며, 이는 ℓ₁ 노름을 일반화하고 구조적 스파arsity를 유도한다.
• 수렴이 보장되는 조건 하에, 병행 최적화 알고리즘을 사용하여 정규화된 최소 제곱 문제를 해결한다. 이 조건은 컴actness와 엄밀한 볼록성 가정을 포함한다.
• 최적의 λ(β)를 통한 도함수 유도를 통해, 기울기 기반 최적화를 가능하게 한다.
• |β| ∈ Λ일 경우 Ω(β|Λ)는 정확히 ℓ₁ 노름으로 축소되며, 이는 Lasso의 스파arsity 촉진 성질을 유지함을 의미한다. 반면, |β| ∉ Λ일 경우 그 이상이 되므로, 구조적 스파arsity를 선호한다.
• 단조성 및 그룹 기반 패턴을 포함한 다양한 구조적 스파arsity 모델에 이 방법을 적용하였으며, 특정 경우에 대해 명시적인 계산을 수행하였다.

실험 결과

연구 질문

• RQ1 회귀 계수의 임의의 구조적 스파arsity 패턴을 인코딩할 수 있는 볼록 페널티 함수를 설계할 수 있는가?
• RQ2 비제로 계수의 형태나 그룹화에 대한 사전 지식를 볼록 최적화 프레임워크에 어떻게 통합할 수 있는가?
• RQ3 구조적 스파arsity가 존재할 경우, 제안된 방법이 Lasso나 그룹 Lasso보다 더 높은 추정 정확도를 달성하는가?
• RQ4 제안된 페널티 함수의 이론적 성질은 무엇이며, 어떻게 효율적으로 최적화할 수 있는가?
• RQ5 병행 최적화 알고리즘이 전역 최소값으로 수렴하는 조건은 무엇인가?

주요 결과

• 제안된 페널티 함수 Ω(β|Λ)는 ℓ₁ 노름을 일반화하며, |β|가 사전에 정의된 볼록 집합 Λ에 속할 경우에만 스파arsity를 유도한다.
• |β| ∈ Λ일 경우, 페널티 Ω(β|Λ)는 정확히 ℓ₁ 노름으로 축소되며, 이는 Lasso의 스파arsity 촉진 성질을 유지함을 의미한다.
• 페널티 함수는 볼록적이며 거의 곳곳에서 연속적으로 미분 가능하므로, 기울기 기반 최적화 방법을 통해 효율적으로 최적화할 수 있다.
• 수치 시뮬레이션 결과, 구조적 스파arsity 설정에서 Lasso 및 그룹 Lasso보다 낮은 추정 오차를 달성함을 보였다.
• 컴actness와 엄밀한 볼록성 등의 온건한 조건 하에, 병행 알고리즘이 유일한 전역 최소값으로 수렴함을 입증하였다.
• 이 방법은 보조 변수 λ에서 유도된 스파arsity 구조를 회귀 벡터 β로 효과적으로 전달하여, 해가 원하는 스파arsity 패턴을 충족함을 보장한다.