[논문 리뷰] The LASSO risk for gaussian matrices

Mohsen Bayati, Andrea Montanari|arXiv (Cornell University)|2010. 08. 16.

Sparse and Compressive Sensing Techniques참고 문헌 17인용 수 9

한 줄 요약

이 논문은 설계 행렬 $ A $가 i.i.d. 가우시안 성분을 가질 때 라소 추정기의 정규화된 평균제곱오차(MSE)에 대한 최초의 엄밀한 점근적 공식을 수립한다. 약간의 메시지 전달(AMP) 알고리즘과 고차원 점근적 분석을 사용하여 고차원 영역에서 고정된 비율 $ \delta = n/N $ 하에서 라소 리스크의 명시적 극한을 유도하며, 이는 고차원 영역에서 추정기 성능을 정밀하게 기술한다.

ABSTRACT

We consider the problem of learning a coefficient vector x_0\in R^N from noisy linear observation y=Ax_0+w \in R^n. In many contexts (ranging from model selection to image processing) it is desirable to construct a sparse estimator x'. In this case, a popular approach consists in solving an L1-penalized least squares problem known as the LASSO or Basis Pursuit DeNoising (BPDN). For sequences of matrices A of increasing dimensions, with independent gaussian entries, we prove that the normalized risk of the LASSO converges to a limit, and we obtain an explicit expression for this limit. Our result is the first rigorous derivation of an explicit formula for the asymptotic mean square error of the LASSO for random instances. The proof technique is based on the analysis of AMP, a recently developed efficient algorithm, that is inspired from graphical models ideas. Simulations on real data matrices suggest that our results can be relevant in a broad array of practical applications.

연구 동기 및 목표

• i.i.d. 가우시안 설계 행렬을 가진 고차원 선형 모델에서 라소 추정기의 정규화된 평균제곱오차(MSE)에 대한 정확한 점근적 표현을 유도하는 것.
• 문제 차원이 증가함에 따라 라소 리스크가 결정론적 극한으로 거의 확실히 수렴함을 확립하는 것.
• 이 영역에서 통계적으로 라소와 동등한 약간의 메시지 전달(AMP) 알고리즘의 분석을 통해 라소의 성능을 정밀하게 기술할 수 있음을 보여주는 것.
• 실세계 데이터 행렬에 대한 시뮬레이션을 통해 이론적 결과를 검증하여, 가우시안 집합 외에도 일반화 가능성(유니버설리티)을 제안하는 것.

제안 방법

• 분석은 소프트 스레시홀딩과 잔차 갱신을 사용하는 반복적 신호 추정을 수행하는 약간의 메시지 전달(AMP) 알고리즘에 기반한다.
• 증명은 AMP 반복의 점근적 행동을 결정론적 재귀 방정식 세트로 추적하는 상태진화 프레임워크에 의존한다.
• 가우시안 근사 기법과 랜덤 행렬 집단의 성질을 사용하여 AMP 반복의 공동 분포를 기술하고 고정점으로의 수렴을 분석한다.
• 가짜-Lipschitz 함수와 측도 집중의 성질을 활용하여 고차원 극한에서 핵심 내적과 노름의 거의 확실한 수렴을 확립한다.
• 신호, 노이즈, 잔차 성분을 포함하는 점근적 항등식의 시퀀스를 사용하여 그들의 경험적 분포가 i.i.d. 가우시안으로 수렴함을 보여준다.
• 핵심 기술적 기여는 AMP 반복이 진짜 라소 해로 수렴하고, 점근적 리스크가 한정된 극한에서 고정점 방정식으로 기술됨을 증명하는 데 있다.

실험 결과

연구 질문

• RQ1 설계 행렬이 i.i.d. 가우시안 성분을 가지며 문제 차원이 증가할 때, 라소 추정기의 정규화된 평균제곱오차의 정확한 점근적 값은 무엇인가?
• RQ2 고정된 비율 $ \delta = n/N $ 하에서 표본 수와 특징 수가 증가함에 따라 라소 추정기의 성능이 분포적으로 어떻게 수렴하는가?
• RQ3 계산적으로 효율적이고 이 영역에서 통계적으로 라소와 동등한 약간의 메시지 전달(AMP) 알고리즘의 분석을 통해 라소의 성능을 정확히 예측할 수 있는가?
• RQ4 가우시안 행렬에 대한 점근적 결과가 유전자 발현 또는 의료 기록 데이터와 같은 비가우시안 실세계 데이터 행렬로도 어느 정도 일반화되는가?

주요 결과

• N, n \to \infty 일 때 $ \delta = n/N $ 가 고정되어 있으면 정규화된 라소 리스크는 거의 확실히 결정론적 극한으로 수렴한다.
• 점근적 리스크는 상태진화를 통한 AMP 알고리즘의 해를 통해 유도된 고정점 방정식을 포함하는 명시적 공식으로 주어지며, 이는 신호 대 잡음 비율과 $ x_0 $의 희박성 수준에 따라 결정된다.
• 점근적 MSE는 가우시안 행렬 $ A $의 특정 실현값에 독립적이며, 거의 확실히 결정론적 값으로 수렴한다.
• AMP 알고리즘은 라소와 동일한 점근적 성능를 달성하며, 고차원 극한에서 그 반복값은 진짜 라소 해로 수렴한다.
• 유전자 발현 및 이진 의료 기록 데이터와 같은 실제 데이터 행렬에 대한 시뮬레이션은, 약 200개 변수 수준의 중간 크기 문제에서도 점근적 공식이 정확한 예측을 제공함을 보여준다.
• 결과는 유니버설리티 성질을 시사한다: 가우시안 행렬에 대해 유도된 점근적 리스크 공식은 비가우시안 랜덤 행렬의 넓은 범주에도 동일하게 적용됨을 의미하며, 랜덤 행렬 이론의 유사한 결과와 유사하다.