[논문 리뷰] Asymptotic Analysis of LASSOs Solution Path with Implications for Approximate Message Passing

Ali Mousavi, Arian Maleki외 1명|arXiv (Cornell University)|2013. 09. 23.

Advanced MIMO Systems Optimization참고 문헌 33인용 수 22

한 줄 요약

이 논문은 고차원적 극한 조건에서 정규화 매개변수 λ가 변화함에 따라 LASSO의 해 경로에 대한 渐近적 분석을 제공하며, 활성 집합 크기와 평균 제곱 오차(MSE)가 각각 단조롭고 준연속적인 방식으로 행동함을 보여준다. 이러한 결과는 근사 메시지 전달(AMP) 알고리즘에 대해 새로운 효율적인 임계치 정책을 가능하게 하여, 희박 신호 복원의 정확성과 신뢰성을 향상시킨다.

ABSTRACT

This paper concerns the performance of the LASSO (also knows as basis pursuit denoising) for recovering sparse signals from undersampled, randomized, noisy measurements. We consider the recovery of the signal $x_o \in \mathbb{R}^N$ from $n$ random and noisy linear observations $y= Ax_o + w$, where $A$ is the measurement matrix and $w$ is the noise. The LASSO estimate is given by the solution to the optimization problem $x_o$ with $\hat{x}_λ = \arg \min_x \frac{1}{2} \|y-Ax\|_2^2 + λ\|x\|_1$. Despite major progress in the theoretical analysis of the LASSO solution, little is known about its behavior as a function of the regularization parameter $λ$. In this paper we study two questions in the asymptotic setting (i.e., where $N ightarrow \infty$, $n ightarrow \infty$ while the ratio $n/N$ converges to a fixed number in $(0,1)$): (i) How does the size of the active set $\|\hat{x}_λ\|_0/N$ behave as a function of $λ$, and (ii) How does the mean square error $\|\hat{x}_λ - x_o\|_2^2/N$ behave as a function of $λ$? We then employ these results in a new, reliable algorithm for solving LASSO based on approximate message passing (AMP).

연구 동기 및 목표

• 고차원 설정에서 정규화 매개변수 λ가 변화함에 따라 LASSO 해 경로의 행동을 이해하는 것.
• 유한 차원 케이스에서 관찰된 활성 집합 크기의 직관에 어긋나는 비단조화적 행동을, 渐近적 영역 분석을 통해 해결하는 것.
• 근사 메시지 전달(AMP) 알고리즘에서 효율적이고 적응적인 임계치 정책을 설계하기 위한 이론적 기초를 제공하는 것.
• asymptotic 조건 하에서 LASSO 추정치의 평균 제곱 오차(MSE)가 λ에 대해 준연속적임을 입증하여, λ에 대한 신뢰할 수 있는 최적화를 가능하게 하는 것.
• 渐近적 해 경로 분 析에 기반한 새로운, 증명된 정확도를 갖춘 AMP를 위한 임계치 정책을 개발하는 것.

제안 방법

• N → ∞ 이면서 n/N → δ ∈ (0,1) 인 극한에서 渐近적 분석을 수행하며, i.i.d. 가우시안 측정 행렬과 희박한 신호를 가정한다.
• 최적화 문제 min_x (1/2)‖y − Ax‖₂² + λ‖x‖₁ 을 통해 LASSO 해 경로를 분석하여 λ 변화에 따른 해의 변화를 추적한다.
• λ에 대한 함수로서의 활성 집합 크기 ‖x̂_λ‖₀/N 와 정규화된 MSE ‖x̂_λ − xₒ‖₂²/N 의 渐近적 행동에 대한 이론적 표현을 유도한다.
• 渐近적 해 경로에 기반한 새로운 고정 임계치 정책을 근사 메시지 전달(AMP)에 도입하며, λ에 따라 달라지는 임계치를 사용한다.
• 각 매개변수 설정당 20개의 샘플을 사용한 몬테카를로 시뮬레이션을 통해 이론적 단계 전이 곡선을 경험적으로 검증한다.
• δ 및 ρ 값의 격자에 대해 선형 보간을 수행하여 경험적 복원 확률의 히트맵을 구성하고, 이론적 단계 전이 곡선과 비교한다.

실험 결과

연구 질문

• RQ1 渐近적 영역에서 정규화 매개변수 λ에 대한 함수로서 활성 집합 크기 ‖x̂_λ‖₀/N 는 어떻게 행동하는가?
• RQ2 고차원적 극한에서 정규화된 평균 제곱 오차 ‖x̂_λ − xₒ‖₂²/N 는 λ에 따라 어떻게 변화하는가?
• RQ3 LASSO 해 경로의 渐近적 행동을 활용하여 근사 메시지 전달(AMP)에 대해 더 신뢰할 수 있는 임계치 정책을 설계할 수 있는가?
• RQ4 새로운 임계치 정책을 갖춘 AMP의 단계 전이 행동은 어떠한가? 이는 이론적 예측과 어떻게 비교되는가?
• RQ5 왜 유한 차원 LASSO 해는 때로 비단조화적 활성 집합 행동을 보이며, 이러한 행동은 渐近적 극한에서 일반적인가?

주요 결과

• N → ∞ 이면서 n/N → δ ∈ (0,1) 인 渐近적 영역에서, 정규화된 활성 집합 크기 ‖x̂_λ‖₀/N 는 λ에 대해 감소 함수이며, 이는 이전에 관찰된 유한 차원 케이스에서의 비단조화적 행동을 해결한다.
• 정규화된 평균 제곱 오차 ‖x̂_λ − xₒ‖₂²/N 는 λ에 대해 준연속 함수이며, 이는 유일한 최솟값을 가지며 λ에 대한 효율적 최적화를 가능하게 한다.
• 渐近적 분석에서 유도된 이론적 단계 전이 곡선이 몬테카를로 시뮬레이션에서 경험적 복원 확률과 일치하여 이론 모델의 타당성을 검증한다.
• 渐近적 해 경로 분석에 기반한 새로운 고정 임계치 정책은 높은 확률로 희박한 신호를 정확히 복원한다.
• 경험적 결과는 복원 성공과 실패의 경계를 이루는 단계 전이 곡선이 이론적 예측과 매우 밀접하게 일치함을 보여주며, 渐近적 분석의 타당성을 확인한다.
• 유한 차원 케이스에서 관찰되는 활성 집합의 병리적 비단조화적 행동(예: 그림 1)은 희귀하며, 이는 渐近적 행동과는 달리 잘 정돈되어 있고 예측 가능하다.