[논문 리뷰] Precise Error Analysis of the LASSO under Correlated Designs

Ayed M. Alrashdi, Houssem Sifaou외 3명|arXiv (Cornell University)|2020. 08. 29.

Sparse and Compressive Sensing Techniques참고 문헌 21인용 수 5

한 줄 요약

이 논문은 LASSO의 관련 설계 행렬에 대한 정밀한 渐近 오차 분석을 Convex Gaussian Min-max Theorem (CGMT)를 사용하여 수행한다. 시뮬레이션을 통해 유한 차원에서도 검증된 평균 제곱 오차(MSE), 서포트 복구 확률, 요소 오차 비율(EER), 코사인 유사도에 대한 정확한 표현을 도출한다.

ABSTRACT

In this paper, we consider the problem of recovering a sparse signal from noisy linear measurements using the so called LASSO formulation. We assume a correlated Gaussian design matrix with additive Gaussian noise. We precisely analyze the high dimensional asymptotic performance of the LASSO under correlated design matrices using the Convex Gaussian Min-max Theorem (CGMT). We define appropriate performance measures such as the mean-square error (MSE), probability of support recovery, element error rate (EER) and cosine similarity. Numerical simulations are presented to validate the derived theoretical results.

연구 동기 및 목표

• 실제 응용에서 흔한 관련 설계 행렬에서 LASSO에 대한 정밀한 이론적 분 析의 부족을 해결하기 위해.
• 이전에 i.i.d. 설계에서 유도된 LASSO 성능 보장들을 관련 가우시안 설계로 확장하기 위해.
• MSE, EER, 서포트 복구 및 코사인 유사도를 포함한 주요 성능 지표에 대한 점근적 정확한 표현을 제공하기 위해.
• 이론적 예측을 수치 시뮬레이션을 통해 검증하여, 유한 차원 설정에서도 정확함을 입증하기 위해.

제안 방법

• 관련 설계 하에서 LASSO의 고차원 점근적 행동을 분석하기 위해 Convex Gaussian Min-max Theorem (CGMT)를 활용한다.
• 관련 설계 행렬을 $\mathbf{A} = \boldsymbol{\Sigma}^{1/2}\mathbf{H}$로 모델링하며, 여기서 $\mathbf{H}$는 i.i.d. $\mathcal{N}(0, 1/n)$ 원소를 가지며 $\boldsymbol{\Sigma}$는 알려진 상관 행렬이다.
• 점근적 행동을 분석함으로써 성능 지표에 대한 점근적 표현을 유도하며, $m, n, k \to \infty$일 때 고정된 비율 $m/n \to \delta$, $k/n \to \kappa$를 가정한다.
• CGMT 프레임워크를 사용하여 원래의 최적화 문제를 스칼라 최소화 문제로 축소함으로써, 해의 통계적 성질을 정밀하게 특성화한다.
• 스parser-Bernoulli 신호 모델 하에서 MSE, EER 및 코사인 유사도를 포함한 주요 지표에 대한 닫힌 형태의 표현을 유도한다.
• 수치 시뮬레이션을 통해 이론적 예측을 검증하여, 중간 차원 문제에서도 뛰어난 일치를 보임을 확인한다.

실험 결과

연구 질문

• RQ1 설계 행렬이 관련이 있을 경우 LASSO의 점근적 평균 제곱 오차(MSE)는 무엇인가?
• RQ2 설계 행렬의 상관성이 서포트 복구 성공 확률에 어떤 영향을 미치는가?
• RQ3 관련 설계 하에서 LASSO의 점근적 요소 오차 비율(EER)은 무엇인가?
• RQ4 관련 설계 하에서 고차원 극한에서 추정된 신호와 진짜 신호 간의 코사인 유사도는 어떻게 행동하는가?
• RQ5 이론적 예측은 어떤 유한 차원 문제에 적용되었을 때 얼마나 정확한가?

주요 결과

• 논문은 CGMT 프레임워크를 사용하여 관련 가우시안 설계 하에서 LASSO의 MSE에 대한 정확한 점근적 표현을 도출한다.
• 스퍼스-베르누이 신호 모델 하에서, 서포트 내 복구의 점근적 확률은 $\text{plim } \Phi_{\xi,\text{on}}(\widehat{\mathbf{x}}) = Q\left(\frac{\lambda}{\beta_\star} + \frac{\chi_\star(\xi+1)}{\alpha_\star\beta_\star}\right) + Q\left(\frac{\lambda}{\beta_\star} + \frac{\chi_\star(\xi-1)}{\alpha_\star\beta_\star}\right)$ 로 주어진다.
• 서포트 외 복구의 점근적 확률은 $\text{plim } \Phi_{\xi,\text{off}}(\widehat{\mathbf{x}}) = 1 - 2Q\left(\frac{\lambda}{\beta_\star} + \frac{\chi_\star\xi}{\alpha_\star\beta_\star}\right)$ 로 주어진다.
• 점근적 EER는 $\text{plim } \text{EER}_\xi = Q\left(\frac{\chi_\star(1-\xi)}{\alpha_\star\beta_\star} - \frac{\lambda}{\beta_\star}\right) - Q\left(\frac{\chi_\star(1+\xi)}{\alpha_\star\beta_\star} + \frac{\lambda}{\beta_\star}\right) + 2Q\left(\frac{\chi_\star\xi}{\alpha_\star\beta_\star} + \frac{\lambda}{\beta_\star}\right)$ 로 표현된다.
• 코사인 유사도는 $\text{plim } \cos(\angle(\widehat{\mathbf{x}}, \mathbf{x}_0)) = \frac{I_0}{\sqrt{\kappa(I_1 + I_2)}}$ 로 특성화되며, 여기서 $I_0$, $I_1$, $I_2$ 는 닫힌 형태로 정의된다.
• 수치 시뮬레이션은 이론적 예측이 실제 결과와 매우 밀접하게 일치함을 확인하였으며, 이는 점근적 분석의 정확성을 검증한다.