[논문 리뷰] Finding a sparse vector in a subspace: Linear sparsity using alternating directions

Qing Qu, Ju Sun외 1명|arXiv (Cornell University)|2014. 12. 15.

Sparse and Compressive Sensing Techniques참고 문헌 28인용 수 30

한 줄 요약

이 논문은 식물 희소 모델에서 목표 벡터가 무작위 부분공간에 포함된 경우, 부분공간 내에서 가장 희소한 벡터를 복원하기 위해 비볼록 교차방향법(ADM)을 제안한다. 이 방법은 희소성 수준이 차원에 비례할 때(즉, Ω(1) 비율의 비영원소를 가질 때) 이론적으로 성공하며, 이는 O(1/√n) 희소성 이하에서 실패하는 볼록 완화 기법보다 뛰어나다.

ABSTRACT

Is it possible to find the sparsest vector (direction) in a generic subspace $\mathcal{S} \subseteq \mathbb{R}^p$ with $\mathrm{dim}(\mathcal{S})= n < p$? This problem can be considered a homogeneous variant of the sparse recovery problem, and finds connections to sparse dictionary learning, sparse PCA, and many other problems in signal processing and machine learning. In this paper, we focus on a **planted sparse model** for the subspace: the target sparse vector is embedded in an otherwise random subspace. Simple convex heuristics for this planted recovery problem provably break down when the fraction of nonzero entries in the target sparse vector substantially exceeds $O(1/\sqrt{n})$. In contrast, we exhibit a relatively simple nonconvex approach based on alternating directions, which provably succeeds even when the fraction of nonzero entries is $Ω(1)$. To the best of our knowledge, this is the first practical algorithm to achieve linear scaling under the planted sparse model. Empirically, our proposed algorithm also succeeds in more challenging data models, e.g., sparse dictionary learning.

연구 동기 및 목표

• 일반적인 부분공간에서 가장 희소한 비영벡터를 찾는 문제는 일반적으로 NP-난이도이므로, 이 문제의 계산적 과제를 다루기 위해.
• 희소성이 O(1/√n)를 초월할 경우 실패하는 볼록 완화 기법의 한계를 극복하기 위해 비볼록 대체 방법을 제안하기 위해.
• 식물 희소 모델 하에서, 목표 희소 벡터가 무작위 부분공간에 임bedded된 경우, 희소 벡터 복원에 대한 이론적 보장을 수립하기 위해.
• 실용적이고 확장 가능한 알고리즘을 개발하여 선형 희소성 스케일링(즉, 비영원소 비율이 일정할 경우에도 성공 가능)을 달성하기 위해.
• 희소 사전 학습 및 희소 주성분 분석과 같이 부분공간 제약 조건이 핵심이 되는 문제들로 희소 복원 기법의 적용 범위를 확장하기 위해.

제안 방법

• 행렬의 영공간에서 희소성을 촉진하는 비볼록 최적화 문제를 해결하기 위한 교차방향법(ADM)을 제안한다.
• 변수 분할을 통해, ℓ1-노름 최소화 문제를 영공간 제약 조건 하에 재정의함으로써, 교대 최소화를 가능하게 한다.
• 기하학적 및 측도 집중 원리에 기반하여, 해를 표준 기저 벡터로 투영하는 라운딩 절차를 도입한다.
• 무작위 행렬 이론을 활용한 확률적 분석을 통해, 식물 모델 하에서 ADM의 하위문제 해가 진짜 희소 벡터 근처에 집중됨을 증명한다.
• 이중 증명 증명을 통해, ADM 하위문제의 해가 유일하고 진짜 희소 벡터 방향과 일치함을 증명한다.
• 직교 변환을 통한 기저 변경을 적용하여 부분공간 기저 표현에 대해 불변성을 유지함으로써, 입력 기저 선택에 대한 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 희소성이 높을 경우, 비볼록 최적화 방법이 부분공간에서 희소 벡터를 복원하는 데서 볼록 완화 기법을 능가할 수 있는가?
• RQ2 식물 희소 벡터가 포함된 무작위 부분공간에서, 교차방향법이 진짜 희소 벡터로 수렴하는 조건은 무엇인가?
• RQ3 실용적이고 증명 가능하게 수렴하는 알고리즘을 통해 선형 희소성 스케일링(즉, 비영원소 비율이 일정)을 달성할 수 있는가?
• RQ4 ADM 기반 방법의 성능은 높은 희소성 영역에서 볼록 히우리스틱 기법과 비교해 어떻게 되는가?
• RQ5 제안된 방법은 식물 희소 모델을 초월하여, 예를 들어 희소 사전 학습과 같은 더 일반적인 모델로 확장할 수 있는가?

주요 결과

• 제안된 ADM 알고리즘은 식물 희소 모델 하에서 희소성 수준이 Ω(1)일 때, 즉 차원의 일정 비율의 비영원소를 가질 경우 부분공간 내 가장 희소한 벡터를 이론적으로 복원한다.
• 볼록 완화 기법은 희소성이 O(1/√n)를 초월하면 실패하지만, 제안된 비볼록 ADM 방법은 선형 희소성 수준에서도 성공한다.
• 환경 차원 p가 일관수 C₃n 이상일 경우, 희소성 수준과 무관하게 높은 확률로 성공한다.
• ADM 해의 라운딩 단계는 희소성 매개변수 θ가 일관수 임계값 θ₀ 이하일 경우, 높은 확률로 정확한 희소 벡터 방향을 복원한다.
• 이론적 분석 결과, ADM 하위문제의 해는 진짜 희소 벡터 근처에 집중되어 있으며, 이중 증명이 정확한 복원을 위한 충분 조건를 만족한다.
• 실험 결과는 이 방법이 식물 희소 모델을 초월하여 더 도전적인 모델, 예를 들어 희소 사전 학습에서도 성공함을 보여준다.