[논문 리뷰] Sparse High-Dimensional Linear Regression. Algorithmic Barriers and a Local Search Algorithm

David Gamarnik, Ilias Zadik|arXiv (Cornell University)|2017. 11. 14.

Sparse and Compressive Sensing Techniques참고 문헌 44인용 수 14

한 줄 요약

이 논문은 희소 고차원 선형 회귀에서 기본적인 알고리즘적 격차를 규명하며, 참값인 희소 벡터 β*의 복원은 정보이론적으로 가능한 샘플 크기 n*에서 가능하지만, n_alg ≈ k log p에 이르기까지는 효율적인 알고리즘이 알려져 있지 않음을 보여준다. 논문은 n ∈ [n*, c n_alg] 영역에서 LASSO가 β*를 안정적으로 복원하지 못함을 증명하고, n_alg에서 발생하는 오버랩 갭 성질(OGP)의 단계 전이가 알고리즘적 난이도를 시사함을 밝혀낸다. 마지막으로, 큰 C에 대해 n > C n_alg일 때 β*와 그 지지 집합을 증명 가능하게 복원하는 국소 탐색 알고리즘을 제안한다.

ABSTRACT

We consider a sparse high dimensional regression model where the goal is to recover a $k$-sparse unknown vector $β^*$ from $n$ noisy linear observations of the form $Y=Xβ^*+W \in \mathbb{R}^n$ where $X \in \mathbb{R}^{n imes p}$ has iid $N(0,1)$ entries and $W \in \mathbb{R}^n$ has iid $N(0,σ^2)$ entries. Under certain assumptions on the parameters, an intriguing assymptotic gap appears between the minimum value of $n$, call it $n^*$, for which the recovery is information theoretically possible, and the minimum value of $n$, call it $n_{\mathrm{alg}}$, for which an efficient algorithm is known to provably recover $β^*$. In \cite{gamarnikzadik} it was conjectured that the gap is not artificial, in the sense that for sample sizes $n \in [n^*,n_{\mathrm{alg}}]$ the problem is algorithmically hard. We support this conjecture in two ways. Firstly, we show that the optimal solution of the LASSO provably fails to $\ell_2$-stably recover the unknown vector $β^*$ when $n \in [n^*,c n_{\mathrm{alg}}]$, for some sufficiently small constant $c>0$. Secondly, we establish that $n_{\mathrm{alg}}$, up to a multiplicative constant factor, is a phase transition point for the appearance of a certain Overlap Gap Property (OGP) over the space of $k$-sparse vectors. The presence of such an Overlap Gap Property phase transition, which originates in statistical physics, is known to provide evidence of an algorithmic hardness. Finally we show that if $n>C n_{\mathrm{alg}}$ for some large enough constant $C>0$, a very simple algorithm based on a local search improvement rule is able both to $\ell_2$-stably recover the unknown vector $β^*$ and to infer correctly its support, adding it to the list of provably successful algorithms for the high dimensional linear regression problem.

연구 동기 및 목표

• 희소 고차원 선형 회귀에서 정보이론적 복원(n*)과 알고리즘적 복원(n_alg) 사이의 격차를 이해하기 위해.
• n*와 n_alg 사이의 격차가 현재 알고리즘의 한계일지, 아니면 진정으로 알고리즘적 난이도를 반영하는지 조사하기 위해.
• 작은 c > 0에 대해 n ∈ [n*, c n_alg] 영역에서 LASSO의 실패를 분석하기 위해.
• n_alg에서 오버랩 갭 성질(OGP)의 존재를 확립하여 이 문제에서 알고리즘적 비가역성을 시사하기 위해.
• n > C n_alg일 때 β*와 그 지지 집합을 증명 가능하게 복원하는 국소 탐색 알고리즘을 설계하고 분석하기 위해.

제안 방법

• i.i.d. N(0,1) 분포를 가진 측정 행렬 X ∈ ℝ^{n×p}와 노이즈 W ∼ N(0,σ²I)를 사용하여 고차원 회귀를 모델링하기 위해 확률적 분석을 수행한다.
• n ∈ [n*, c n_alg]일 때 LASSO 추정기의 ℓ₂-안정적 복원 실패를 분석하여, σ 수준 오차 내에서 β*로 수렴하지 않음을 증명한다.
• k-희소 벡터 공간에서 오버랩 갭 성질(OGP)을 도입하여, n_alg ≈ k log p에서 이 성질이 나타나며 알고리즘적 난이도를 시사함을 보여준다.
• 집중 불등식과 지수적 모멘트 유계를 사용하여 해 공간 내 희소 벡터 주변 이웃의 크기를 제어한다.
• 후보 해의 ℓ₂ 이웃을 탐색하는 반복적 개선 규칙에 기반한 국소 탐색 알고리즘을 제안하여 局부 최적해를 벗어나도록 한다.
• 충분히 큰 C > 0에 대해 n > C n_alg일 때, 국소 탐색 알고리즘이 높은 확률로 ℓ₂-안정적 복원과 정확한 지지 집합 복원을 달성함을 증명한다.

실험 결과

연구 질문

• RQ1 희소 고차원 선형 회귀에서 정보이론적 복원(n*)과 알고리즘적 복원(n_alg) 사이의 격차는 현재 알고리즘의 한계일까, 아니면 본질적인 알고리즘적 장벽일까?
• RQ2 작은 c > 0에 대해 n ∈ [n*, c n_alg] 영역에서 LASSO 추정기가 β*를 안정적으로 복원하지 못하는가?
• RQ3 n_alg에서 오버랩 갭 성질(OGP)의 존재가 이 문제에서 알고리즘적 난이도를 시사하는가?
• RQ4 간단한 국소 탐색 알고리즘이 LASSO와 같은 볼록 최적화 방법의 한계를 극복하고 n > C n_alg일 때 β*를 복원할 수 있는가?
• RQ5 국소 탐색 알고리즘이 β*의 지지 집합과 ℓ₂ 노름을 증명 가능하게 복원할 수 있는 샘플 크기 n의 정확한 임계값은 무엇인가?

주요 결과

• 적당히 작은 c > 0에 대해 n ∈ [n*, c n_alg]일 때 LASSO 추정기는 β*의 ℓ₂-안정적 복원에 실패함을 증명 가능하게 밝혀내며, 이는 정보이론적으로 복원이 가능함에도 불구하고 성립한다.
• n_alg ≈ k log p는 k-희소 벡터 공간에서 오버랩 갭 성질(OGP)의 단계 전이를 나타내며, 이는 이 영역에서 알고리즘적 난이도를 강력하게 시사한다.
• C가 충분히 큰 경우 n > C n_alg일 때, 반복적 이웃 개선 기반 국소 탐색 알고리즘이 β*의 ℓ₂-안정적 복원을 증명 가능하게 달성한다.
• 동일한 국소 탐색 알고리즘은 n > C n_alg일 때 높은 확률로 β*의 지지 집합을 정확히 추론한다.
• n_alg에서의 OGP 단계 전이는 강건하며 희소 해 공간의 본질적 기하학적 성질과 연결되어 있어, 효율적 복원에 대한 본질적 장벽을 시사한다.
• 분석을 통해 n_alg의 임계값은 상수 인자까지 정확히 타이트함이 입증된다: 이하에서는 효율적인 알고리즘이 알려져 있지 않으며 OGP가 탐색을 차단하고, 이하에서는 단순한 국소 탐색이 성공한다.