[논문 리뷰] Consistent Parameter Estimation for LASSO and Approximate Message Passing

Ali Mousavi, Arian Maleki외 1명|arXiv (Cornell University)|2015. 11. 03.

Sparse and Compressive Sensing Techniques인용 수 4

한 줄 요약

이 논문은 LASSO와 근사 메시지 전달(AMP)의 渐近 분석을 제공하며, 해의 활성 집합 크기와 평균 제곱 오차(MSE)가 정규화 파라미터 λ 또는 임계값 파라미터 τᵗ에 따라 예측 가능하게 변화함을 보여준다. 또한 AMP에 대해 계산적으로 효율적이고 渐近적으로 일致하는 파라미터 튜닝 방법을 제안하여, 최적의 LASSO 해와 동일한 최적의 MSE를 달성한다.

ABSTRACT

We consider the problem of recovering a vector $β_o \in \mathbb{R}^p$ from $n$ random and noisy linear observations $y= Xβ_o + w$, where $X$ is the measurement matrix and $w$ is noise. The LASSO estimate is given by the solution to the optimization problem $\hatβ_λ = \arg \min_β \frac{1}{2} \|y-Xβ\|_2^2 + λ\| β\|_1$. Among the iterative algorithms that have been proposed for solving this optimization problem, approximate message passing (AMP) has attracted attention for its fast convergence. Despite significant progress in the theoretical analysis of the estimates of LASSO and AMP, little is known about their behavior as a function of the regularization parameter $λ$, or the thereshold parameters $τ^t$. For instance the following basic questions have not yet been studied in the literature: (i) How does the size of the active set $\|\hatβ^λ\|_0/p$ behave as a function of $λ$? (ii) How does the mean square error $\|\hatβ_λ - β_o\|_2^2/p$ behave as a function of $λ$? (iii) How does $\|β^t - β_o \|_2^2/p$ behave as a function of $τ^1, \ldots, τ^{t-1}$? Answering these questions will help in addressing practical challenges regarding the optimal tuning of $λ$ or $τ^1, τ^2, \ldots$. This paper answers these questions in the asymptotic setting and shows how these results can be employed in deriving simple and theoretically optimal approaches for tuning the parameters $τ^1, \ldots, τ^t$ for AMP or $λ$ for LASSO. It also explores the connection between the optimal tuning of the parameters of AMP and the optimal tuning of LASSO.

연구 동기 및 목표

• LASSO 및 AMP 해의 활성 집합 크기와 평균 제곱 오차(MSE)가 정규화 파라미터 λ 또는 임계값 파라미터 τᵗ에 따라 어떻게 달라지는지 이해하기.
• 특히 고차원 渐近적 영역에서 LASSO 및 AMP의 파라미터 튜닝 행동에 대한 이론적 이해 부족 문제를 해결하기.
• LASSO의 최적 성능을 따라잡는 계산적으로 효율적이고 渐近적으로 일치하는 AMP 파라미터 튜닝 방법을 개발하기.
• 고차원 渐近적 근사에서 AMP의 최적 튜닝과 LASSO의 최적 튜닝 간의 이론적 연결을 수립하기.

제안 방법

• p → ∞ 이면서 n/p → δ ∈ (0,1) 인 극한에서 LASSO 및 AMP의 渐近적 행동을 분석하기 위해 무작위 행렬 이론과 渐近 통계 분석을 사용한다.
• 활성 집합 크기 ‖β̂λ‖₀/p 가 λ에 따라 어떻게 변하는지, 그리고 MSE ‖β̂λ − βₒ‖₂²/p 가 λ에 따라 어떻게 변하는지의 기능적 의존성을 유도하며, λ에 대한 MSE의 준볼록성(quasi-convexity)을 보여준다.
• MSE의 渐近적 행동에 기반하여, AMP의 임계값 파라미터 τ¹, τ², ..., τᵗ를 반복적으로 튜닝하기 위한 수정된 이분법 방법을 제안한다.
• 상태 진동(state evolution) 프레임워크를 사용하여 AMP의 동역학을 모델링하고, 渐近적으로 MSE를 최소화하는 일관된 튜닝 규칙을 도출한다.
• 그리드 서치, 맥시민, 일정 임계값 방법과의 비교를 통해 시뮬레이션을 통해 제안된 튜닝 기법의 타당성을 검증한다.
• 제안된 튜닝 기법 하에서 최적의 AMP 해가 최적의 LASSO 해와 동일한 MSE를 달성함을 보여주며, 이는 이론적으로 동등함을 시사한다.

실험 결과

연구 질문

• RQ1 LASSO 추정기에서 정규화 파라미터 λ에 대한 활성 집합 크기 ‖β̂λ‖₀/p 는 어떻게 행동하는가?
• RQ2 MSE ‖β̂λ − βₒ‖₂²/p 는 λ에 따라 어떻게 변하며, 분석에서 제시된 바와 같이 준볼록성(quasi-convexity)을 가지는가?
• RQ3 AMP에서 임계값 파라미터 시퀀스 τ¹, ..., τᵗ 에 따라 추정 오차 ‖βᵗ − βₒ‖₂²/p 는 어떻게 변화하는가?
• RQ4 AMP의 임계값 파라미터 τᵗ 를 위한 일관적이고 계산적으로 효율적인 튜닝 기법을 도출할 수 있는가? 이 기법은 최적의 LASSO 성능을 따라잡는가?
• RQ5 고차원 渐近적 영역에서 AMP의 최적 튜닝과 LASSO의 최적 튜닝 간의 이론적 연결은 무엇인가?

주요 결과

• 활성 집합 크기 ‖β̂λ‖₀/p 는 λ에 대해 감소하는 함수이며, LASSO 정규화의 직관적 기대와 일치한다.
• 평균 제곱 오차 ‖β̂λ − βₒ‖₂²/p 는 λ에 대해 준볼록 함수이며, 이는 MSE를 최소화하는 유일한 최적의 λ 가 존재함을 시사한다.
• 제안된 이분법 기반의 AMP 파라미터 튜닝 기법은 맥시민 또는 일정 임계값 튜닝보다 빠른 수렴 속도와 낮은 재구성 오차를 달성한다.
• 제안된 방법을 사용한 무파라미터 AMP는 최적의 튜닝 LASSO 해와 동일한 최적의 MSE를 달성하며, 이는 성능 면에서 이론적으로 동등함을 보여준다.
• 제안된 튜닝 기법은 그리드 서치보다 훨씬 적은 계산량을 요구하며, 수렴 속도와 정확도 면에서 그리드 서치 및 맥시민 접근 방식을 모두 능가한다.
• 이 방법은 신호의 희박성과 노이즈 분산에 적응하여 다양한 신호 및 노이즈 분포에서 최적의 MSE를 달성한다. 반면 맥시민 AMP는 노이즈가 없는 설정에서만 최적임에 비해 일반화 능력이 떨어진다.