[논문 리뷰] Convex vs nonconvex approaches for sparse estimation: GLasso, Multiple Kernel Learning and Hyperparameter GLasso

Aleksandr Y. Aravkin, James V. Burke외 2명|arXiv (Cornell University)|2013. 02. 26.

Statistical Methods and Inference참고 문헌 34인용 수 5

한 줄 요약

이 논문은 계층 베이지안 모델에서 주변 가능도 최대화를 기반으로 한 비볼록 희소 추정 프레임워크를 제안하며, 그룹 라소와 다중 커널 학습과 같은 볼록 방법과 대비된다. 비볼록 접근법인 하이퍼파ram터 라소(HGLasso)는 경험 베이즈를 통해 하이퍼파ram터를 최적화함으로써 더 높은 희소성과 노이즈에 대한 강건성을 달성함을 보여주며, 저노이즈 조건에서 ℓ₀ 노름에 더 가까운 근사에 이르는 이론적 수렴을 보인다.

ABSTRACT

The popular Lasso approach for sparse estimation can be derived via marginalization of a joint density associated with a particular stochastic model. A different marginalization of the same probabilistic model leads to a different non-convex estimator where hyperparameters are optimized. Extending these arguments to problems where groups of variables have to be estimated, we study a computational scheme for sparse estimation that differs from the Group Lasso. Although the underlying optimization problem defining this estimator is non-convex, an initialization strategy based on a univariate Bayesian forward selection scheme is presented. This also allows us to define an effective non-convex estimator where only one scalar variable is involved in the optimization process. Theoretical arguments, independent of the correctness of the priors entering the sparse model, are included to clarify the advantages of this non-convex technique in comparison with other convex estimators. Numerical experiments are also used to compare the performance of these approaches.

연구 동기 및 목표

• 비볼록 희소 추정이 그룹 라소와 다중 커널 학습과 같은 볼록 대안들보다 이론적 및 실용적 이점이 있는지 명확히 하기.
• 라소, 그룹 라소, 다중 커널 학습, 그리고 지수 하이퍼프리오어(HGLasso)를 공통의 베이지안 프레임워크 아래 통합하기.
• 볼록 완화의 한계를 피하면서도 계산 가능성을 유지하는 그룹 희소 추정을 위한 비볼록 최적화 기법 개발하기.
• HGLasso 추정량이 저노이즈 환경에서 ℓ₀ 노름을 더 잘 근사하는 해로 수렴하는 이론적 수렴을 확립하기.
• 희소성, 추정 정확도, 노이즈에 대한 강건성 등을 비교하는 수치 실험을 통해 방법의 실증적 타당성 검증하기.

제안 방법

• 하이퍼파ram터를 주변 가능도 최대화(경험 베이즈)를 통해 추정하는 계층 베이지안 모델 내에서 희소 추정을 수립한다.
• 동일한 결합 밀도의 다른 마진화로부터 유도된 비볼록 대안인 HGLasso 추정량을 도출한다.
• 단일 스칼라 변수만을 포함하는 비단일 베이지안 전진 선택 기법을 도입하여, 효과적인 비볼록 최적화를 가능하게 한다.
• 하이퍼파ram터의 역행과 로그 항을 포함하는 비볼록 목적 함수를 최소화하는 핵심 최적화 문제를 제안하며, 패널티 항 γλ를 포함한다.
• 암시 함수 정리와 확률 수렴 논증을 사용하여 HGLasso 추정량의 渐近 일致성(점점 수렴)을 증명한다.
• KKT 조건과 희소성 및 수축 사이의 트레이드오프를 분석하여, 비볼록 방법이 볼록 대비 더 날카운 ℓ₀ 근사를 달성함을 보여준다.

실험 결과

연구 질문

• RQ1 HGLasso 추정량은 그룹 라소와 다중 커널 학습과 같은 볼록 대안들보다 희소성과 추정 정확도 측면에서 어떻게 비교되는가?
• RQ2 저노이즈 환경에서 비볼록 접근법이 ℓ₀ 노름을 근사하는 데 어떤 이론적 이점을 제공하는가?
• RQ3 고차원 그룹 희소 모델에서 비볼록 희소 추정의 안정성과 성능 향상에 대해 단일 변수 초기화 전략이 효과적인가?
• RQ4 HGLasso 추정량의 渐近 행동은 어떠한가? 정규 조건 하에서 의미 있는 해로 수렴하는가?
• RQ5 경험 베이즈 설정을 고려할 때, HGLasso 방법은 모형 잘못 지정되거나 잘못된 사전 분포가 있을 경우에도 강건한가?

주요 결과

• γ > 0일 때 HGLasso 추정량은 그룹 라소 추정량보다 엄격히 작은 해로 확률적으로 수렴함을 보여, 더 높은 희소성의 잠재적 향상을 시사한다.
• 저노이즈 조건에서 이론적 및 수치적 증거에 의해 HGLasso 추정량은 볼록 방법보다 ℓ₀ 노름에 더 가까운 근사를 제공함을 확인한다.
• 정규 조건 하에서 진짜 희소 해로 수렴하며, 극한 값은 정규화 파ram터 γ에 따라 달라진다.
• 진짜 신호가 0일 경우, HGLasso 추정량은 γ에 관계없이 확률적으로 0으로 수렴함을 보여, 영 가설의 경우 정확한 희소성 복원이 보장된다.
• 비볼록 접근법은 사전 분포가 잘못되었을 경우에도 볼록 방법보다 더 뛰어난 노이즈 강건성을 보여준다.
• 이론적 분석을 통해 HGLasso 목적 함수는 한계에서 엄밀히 볼록함을 확인하였으며, 미약한 조건 하에 유일한 최소화자를 보장한다.