[논문 리뷰] An efficient linearly convergent semismooth Netwon-CG augmented Lagrangian method for Lasso problems

Xudong Li, Defeng Sun외 1명|arXiv (Cornell University)|2016. 07. 19.

Sparse and Compressive Sensing Techniques참고 문헌 44인용 수 3

한 줄 요약

이 논문은 대규모 Lasso 문제를 효율적으로 해결하기 위해 보조 제약 조건 방법과 반복형 뉴턴-코일링 방법을 조합한 새로운 알고리즘 Ssnal을 제안한다. Lasso 문제의 조각별 선형-이차 구조를 활용함으로써 Ssnal은 전역 수렴성과 국소 선형 수렴성을 확보하며, 실제 데이터셋에서 최신 기술 대비 빠른 속도와 뛰어난 안정성으로 슈퍼리아를 기록한다.

ABSTRACT

We develop a fast and robust algorithm for solving large-scale convex composite optimization models with an emphasis on the $\ell_1$-regularized least square regression (the Lasso) problems. Although there exist a large amount of solvers in the literature for Lasso problems, so far no solver can handle difficult real large scale regression problems. By relying on the piecewise linear-quadratic structure of the problems to realize the remarkable fast linear convergence property of the augmented Lagrangian algorithm, and by exploiting the superlinear convergence of the semismooth Newton-CG method, we are able to design a new algorithm, called {\sc Ssnal}, to efficiently solve the aforementioned difficult problems. Global convergence and local linear convergence results for {\sc Ssnal} are established. Numerical results, including the comparison between our approach and several state-of-the-art solvers, on real data sets, are presented to demonstrate the high efficiency and robustness of our proposed algorithm in solving large-scale difficult problems.

연구 동기 및 목표

• 기존 솔버가 효과적으로 다룰 수 없는 대규모이고 어려운 Lasso 문제를 해결하는 데 도전한다.
• Lasso 문제의 구조적 특성을 활용하여 수렴 속도를 빠르게 하는 알고리즘을 개발한다.
• Lasso 문제를 해결할 때 전역 수렴성과 국소 선형 수렴 속도를 동시에 확보한다.
• 실제 대규모 회귀 데이터셋에서 기존 최신 기술 솔버를 능가하는 성능을 내는 것을 목표로 한다.

제안 방법

• 보조 제약 조건 방법을 사용하여 Lasso 문제를 구조적으로 유리한 하위문제들로 분해한다.
• 하위문제를 해결하기 위해 반복형 뉴턴-코일링 방법을 적용하여, 그 조각별 선형-이차 성격을 활용해 초선형 수렴을 이룬다.
• 반복형 뉴턴-코일링의 빠른 국소 수렴 성질과 보조 제약 조건 방법의 전역 수렴 보장을 통합한다.
• 하위문제를 효율적으로 처리함으로써 대규모 문제를 다룰 수 있도록 알고리즘을 설계한다.
• Lasso 문제의 조각별 선형-이차 구조를 체계적으로 활용하여 빠른 수렴을 가능하게 한다.
• 이론적 분석을 통해 전역 수렴성과 국소 수렴 성질을 엄밀히 증명한다.

실험 결과

연구 질문

• RQ1 반복형 뉴턴-코일링과 보조 제약 조건 방법을 조합한 하이브리드 알고리즘이 대규모 Lasso 문제의 수렴 속도를 빠르게 할 수 있는가?
• RQ2 Lasso 문제의 조각별 선형-이차 구조가 제안된 알고리즘의 수렴 행동에 어떤 영향을 미치는가?
• RQ3 제안된 방법이 실제 대규모 회귀 데이터셋에서 기존 최신 기술 솔버를 능가할 수 있는가?
• RQ4 새로운 알고리즘에 대해 어떤 이론적 보장(전역 수렴성과 국소 수렴성)을 확보할 수 있는가?
• RQ5 알고리즘이 다양한 대규모 문제 사례에서 안정성과 효율성을 유지하는 방식은 무엇인가?

주요 결과

• Ssnal은 Lasso 문제를 해결할 때 전역 수렴성과 국소 선형 수렴성을 확보한다.
• 실제 대규모 회귀 데이터셋에서 최신 기술 솔버 대비 뛰어난 성능을 보인다.
• Lasso 문제의 조각별 선형-이차 구조 덕분에 보조 제약 조건 방법의 놀라운 빠른 선형 수렴이 가능해진다.
• 반복형 뉴턴-코일링과 보조 제약 조건 방법의 통합은 하위문제 해결에서 초선형 수렴을 이끈다.
• 수치적 결과는 Ssnal이 어려운 대규모 Lasso 문제를 해결할 때 매우 높은 효율성과 안정성을 보임을 확인한다.
• 기존 솔버가 실패하는 대규모 사례에서도 효과적으로 대응하여 실용적인 확장성을 입증한다.