[논문 리뷰] High-Dimensional Regression with Binary Coefficients. Estimating Squared Error and a Phase Transition

David Gamarnik, Ilias Zadik|arXiv (Cornell University)|2017. 01. 16.

Sparse and Compressive Sensing Techniques참고 문헌 49인용 수 5

한 줄 요약

이 논문은 희박성 조건 하에서 이元계수를 가진 고차원 선형 회귀를 다루며, 최소 제곱 오차를 정밀하게 추정하기 위해 새로운 조건부 2차 모멘트 방법을 사용한다. $ n^* = 2k\log p / \log(2k/\sigma^2 + 1) $에서 정확한 지지 집합 복구가 정보이론적으로 가능해지는 날카러운 단계 전이를 규명하고, LASSO/압축 감지 임계값 이하에서 알고리즘적 곤경을 암시하는 오버랩 갭 성질(OGP)을 확립한다.

ABSTRACT

We consider a sparse linear regression model Y=Xβ^{*}+W where X has a Gaussian entries, W is the noise vector with mean zero Gaussian entries, and β^{*} is a binary vector with support size (sparsity) k. Using a novel conditional second moment method we obtain a tight up to a multiplicative constant approximation of the optimal squared error \min_β\|Y-Xβ\|_{2}, where the minimization is over all k-sparse binary vectors β. The approximation reveals interesting structural properties of the underlying regression problem. In particular, a) We establish that n^*=2k\log p/\log (2k/σ^{2}+1) is a phase transition point with the following "all-or-nothing" property. When n exceeds n^{*}, (2k)^{-1}\|β_{2}-β^*\|_0\approx 0, and when n is below n^{*}, (2k)^{-1}\|β_{2}-β^*\|_0\approx 1, where β_2 is the optimal solution achieving the smallest squared error. With this we prove that n^{*} is the asymptotic threshold for recovering β^* information theoretically. b) We compute the squared error for an intermediate problem \min_β\|Y-Xβ\|_{2} where minimization is restricted to vectors βwith \|β-β^{*}\|_0=2k ζ, for ζ\in [0,1]. We show that a lower bound part Γ(ζ) of the estimate, which corresponds to the estimate based on the first moment method, undergoes a phase transition at three different thresholds, namely n_{ ext{inf,1}}=σ^2\log p, which is information theoretic bound for recovering β^* when k=1 and σis large, then at n^{*} and finally at n_{ ext{LASSO/CS}}. c) We establish a certain Overlap Gap Property (OGP) on the space of all binary vectors βwhen n\le ck\log p for sufficiently small constant c. We conjecture that OGP is the source of algorithmic hardness of solving the minimization problem \min_β\|Y-Xβ\|_{2} in the regime n

연구 동기 및 목표

• 고차원 선형 회귀에서 이원계수를 가진 희박한 계수 벡터 $\beta^*$의 지지 집합 복구에 대한 정보이론적 한계를 규명하는 것.
• 조건부 2차 모멘트 방법을 사용하여 $k$-희박한 이원계수 회귀 계수에 대한 최소 제곱 오차의 날카러운 근사값을 도출하는 것.
• 정확한 지지 집합 복구가 가능하거나 불가능해지는 단계 전이 점 $n^*$을 규명하는 것.
• 낮은 표본 수 영역에서 오버랩 갭 성질(OGP)을 통한 문제의 알고리즘적 곤경을 조사하는 것.
• 정보이론적 임계값 $n^*$와 LASSO/압축 감지 임계값 $n_{\text{LASSO/CS}}$ 간의 비교를 수행하는 것.

제안 방법

• 저자들은 $k$-희박한 이원계수 $\beta$에 대해 $\min_\beta \|Y - X\beta\|_2^2$의 최소 제곱 오차를 추정하기 위해 새로운 조건부 2차 모멘트 방법을 적용한다.
• 해밍 거리 $\|\beta_2 - \beta^*\|_0$를 사용하여 최적 해 $\beta_2$가 참값 $\beta^*$에 비해 어떻게 행동하는지 분석한다.
• 표본 수 $n$에 대한 제곱 오차의 점근적 행동을 분석함으로써 $n^*$에서의 단계 전이를 유도한다.
• 해밍 거리 $2k\zeta$에서 $\beta^*$로부터 떨어진 해에 대한 최소 오차의 하한 $\Gamma(\zeta)$를 계산하여 다중 임계값을 드러낸다.
• 작은 $n$ 영역에서 $n \leq ck\log p$에 대해 이원벡터 공간에서 오버랩 갭 성질(OGP)을 확립하여, 낮은 $n$ 영역에서 알고리즘적 곤경이 발생할 수 있음을 시사한다.
• 분석은 통계역학과 제약 만족 문제와의 유사성을 제기하며, OGP가 $n_{\text{LASSO/CS}}$ 이하에서 복구의 비가역성을 설명할 수 있음을 암시한다.

실험 결과

연구 질문

• RQ1 고차원 선형 회귀에서 $k$-희박한 이원계수 벡터 $\beta^*$의 정확한 지지 집합 복구에 대한 정보이론적 임계값은 무엇인가?
• RQ2 최소 제곱 오차가 $k$-희박한 이원계수 $\beta$에 대해 최소화될 때 표본 수 $n$에 따라 어떻게 변화하는가?
• RQ3 오버랩 갭 성질(OGP)이 이 문제의 알고리즘적 곤경을 설명하는 데 어떤 역할을 하는가?
• RQ4 단계도 안에서 $n^*$, $n_{\text{inf,1}} = \sigma^2\log p$, $n_{\text{LASSO/CS}} = (2k + \sigma^2)\log p$의 임계값들은 어떻게 관련되어 있는가?
• RQ5 표본 수 $n < n^*$일 때, $\beta^*$의 일부분이라도 복구할 수 있는가, 아니면 $n^*$는 의미 있는 복구에 있어 근본적인 한계인가?

주요 결과

• 단계 전이 점 $n^* = 2k\log p / \log(2k/\sigma^2 + 1)$은 최적 해 $\beta_2$가 $\beta^*$에 가까운지(표본 수 $n > n^*$일 때) 또는 거의 수직인지를 결정하며, 이는 각각 $\|\beta_2 - \beta^*\|_0 / (2k) \approx 0$ 또는 $1$이 된다.
• 임계값 $n^*$는 LASSO/압축 감지 임계값 $n_{\text{LASSO/CS}} = (2k + \sigma^2)\log p$보다 엄격히 낮으며, 정보이론적 한계와 알고리즘적 한계 사이의 격차를 시사한다.
• 1차 모멘트 하한 $\Gamma(\zeta)$는 비단조화적인 행동을 보이며, 세 개의 구분된 임계값 $n_{\text{inf,1}} = \sigma^2\log p$, $n^*$, $n_{\text{LASSO/CS}}$를 포함하여 해공간의 구조적 변화를 암시한다.
• $n \leq ck\log p$이면서 작은 상수 $c$일 때, 이원벡터 공간에서 오버랩 갭 성질(OGP)이 성립하며, 이는 $\beta^*$로부터 중간 해밍 거리에 있는 모든 해가 최적해가 아님을 시사한다. 이는 알고리즘적 곤경을 설명할 수 있다.
• OGP는 $n < n_{\text{LASSO/CS}}$일 때, $n^*$가 정확한 복구에 대한 정보이론적 임계값이지만, 효율적인 알고리즘이 $\beta^*$에 가까운 해를 찾을 수 없음을 암시한다.
• 논문은 $n < n^*$일 때, $\beta^*$의 일정한 비율이라도 복구가 불가능할 것이라 추측하며, $n_{\text{inf,1}}$은 해의 오차 함수의 해밍 거리 공간에서 $\beta^*$가 국소 최소값에서 비국소 최소값으로 전이되는 기하학적 임계값을 나타낸다고 제안한다.