[논문 리뷰] A Theoretical Analysis of Sparse Recovery Stability of Dantzig Selector and LASSO

Yun-Bin Zhao, Duan Li|arXiv (Cornell University)|2017. 11. 10.

Sparse and Compressive Sensing Techniques참고 문헌 43인용 수 3

한 줄 요약

이 논문은 Dantzig Selector와 LASSO의 희소 복원 안정성에 대해 새로운 약한 범위 공간 성질 가정을 도입하여 결정론적 이론적 분석을 제공한다. 이는 전통적인 조건인 RIP나 NSP보다 더 엄격하지 않은 조건이다. Robinson의 상수로 측정된 안정성 계수를 사용하여 통합된 복원 오차 경계를 수립하며, 표준 Dantzig Selector 안정성에 대해 이 가정이 충분하고 필수임을 증명한다.

ABSTRACT

Dantzig selector (DS) and LASSO problems have attracted plenty of attention in statistical learning, sparse data recovery and mathematical optimization. In this paper, we provide a theoretical analysis of the sparse recovery stability of these optimization problems in more general settings and from a new perspective. We establish recovery error bounds for these optimization problems under a mild assumption called weak range space property of a transposed design matrix. This assumption is less restrictive than the well known sparse recovery conditions such as restricted isometry property (RIP), null space property (NSP) or mutual coherence. In fact, our analysis indicates that this assumption is tight and cannot be relaxed for the standard DS problems in order to maintain their sparse recovery stability. As a result, a series of new stability results for DS and LASSO have been established under various matrix properties, including the RIP with constant $δ_{2k}< 1/\sqrt{2}$ and the (constant-free) standard NSP of order $k.$ We prove that these matrix properties can yield an identical recovery error bound for DS and LASSO with stability coefficients being measured by the so-called Robinson's constant, instead of the conventional RIP or NSP constant. To our knowledge, this is the first time that the stability results with such a unified feature are established for DS and LASSO problems. Different from the standard analysis in this area of research, our analysis is carried out deterministically, and the key analytic tools used in our analysis include the error bound of linear systems due to Hoffman and Robinson and polytope approximation of symmetric convex bodies due to Barvinok.

연구 동기 및 목표

• Dantzig Selector와 LASSO의 희소 복원 안정성 분석을 위한 더 일반적이고 더 엄격하지 않은 이론적 프레임워크를 개발하기 위해.
• 제한 이완성질(RIP)과 영공간성질(NSP)과 같은 전통적 조건을 대체하여, 전치 설계 행렬의 약한 범위 공간 성질이라는 더 온건하고 자연스러운 가정을 제안하기 위해.
• 단일 이론적 프레임워크 내에서 Dantzig Selector와 LASSO의 안정성 분석을 통합하고 결정론적 오차 경계를 제공하기 위해.
• 제안된 약한 범위 공간 성질이 표준 Dantzig Selector 안정성에 대해 충분하고 필수임을 입증하기 위해.
• 안정성 계수를 Robinson의 상수로 표현하여 데이터에 따라 변하는, 상수 없이 정의된 안정성 측도를 제공하기 위해.

제안 방법

• 선형 시스템에 대한 Hoffman의 오차 경계 기반 결정론적 접근을 사용하여 해의 안정성 분석을 수행한다.
• 대칭 볼록 체의 다면체 근사 기법인 Barvinok의 기법을 적용하여 최적화 문제의 기하적 구조를 다룬다.
• 최적화 문제의 최적성 조건에서 유도된 기본 가정으로서의 약한 범위 공간 성질을 도입한다.
• 이중성과 노름 기반 추정을 통해 오차 경계를 유도하며, 쌍대 노름 관계를 활용한다.
• ℓ1-노름 오차, 희소성 장려 항 σk(x)₁, 및 매개변수 μ를 포함한 부등식의 사슬을 통해 안정성 경계를 수립한다.
• 가능집합 위로의 사영 연산자와 집합 간의 Hausdorff 거리를 활용하여 해의 편차를 경계한다.

실험 결과

연구 질문

• RQ1 RIP, NSP, 또는 상호코herence보다 더 엄격하지 않은 조건 하에서 Dantzig Selector와 LASSO의 희소 복원 안정성을 확립할 수 있는가?
• RQ2 전치 설계 행렬의 약한 범위 공간 성질이 표준 Dantzig Selector 문제에서 안정적인 희소 복원을 위해 필수적이고 충분한가?
• RQ3 Dantzig Selector와 LASSO에 대해 단일 유형의 안정성 계수를 사용하는 통합된 안정성 프레임워크를 개발할 수 있는가?
• RQ4 RIP 또는 NSP 상수 대신 Robinson의 상수로 측정했을 때, Dantzig Selector와 LASSO의 안정성 경계는 어떻게 비교되는가?
• RQ5 매개변수 μ는 특히 ℓ1-노름 제약 조건과 관련하여 LASSO 해의 안정성을 어떻게 제어하는가?

주요 결과

• 약한 범위 공간 성질은 표준 Dantzig Selector의 안정성에 대해 충분하고 필수 조건이다.
• 이 가정 하에서 Dantzig Selector와 LASSO의 복원 오차 경계가 확립되었으며, 안정성 계수는 Robinson의 상수로 측정된다.
• 논문은 δ₂ₖ < 1/√2 를 만족하는 RIP와 순서 k의 표준 NSP가 모두 약한 범위 공간 성질을 함의함을 증명하며, 이는 안정성을 보장한다.
• 동일한 행렬 가정 하에 Dantzig Selector와 LASSO 간의 안정성 경계가 통합되어 동일한 오차 표현을 가진다.
• LASSO의 경우, 해가 ℓ1-구의 경계상에 있을 때(‖x‖₁ = μ), 오차 경계는 ‖x − x*‖₂ ≤ δ + 4γ̂[φ(Mᵀ(Ax−y)) + σₖ(x)₁/c] 로 주어지며, 여기서 δ는 Hausdorff 거리이고 c는 상수이다.
• 분석은 완전히 결정론적이며, 확률적 가정을 회피함으로써 기존 압축 측정 기법보다 더 강력한 이론적 보장을 제공한다.