[논문 리뷰] Solving the OSCAR and SLOPE Models Using a Semismooth Newton-Based Augmented Lagrangian Method

Ziyan Luo, Defeng Sun외 2명|arXiv (Cornell University)|2018. 03. 28.

Sparse and Compressive Sensing Techniques인용 수 13

한 줄 요약

이 논문은 고차원 회귀에서 SLOPE 및 OSCAR 모델을 효율적으로 해결하기 위해 보조 라그랑주 방법 기반의 반스무스 뉴턴 방법(Newt-ALM)을 제안한다. 보조 라그랑주 하위문제에서의 일반화된 자코비안의 희소성과 낮은 랭크 성질을 활용함으로써, 특히 n > m 인 대규모 설정에서 APG 및 ADMM와 같은 1차 방법에 비해 뛰어난 속도와 강건성을 달성한다.

ABSTRACT

The octagonal shrinkage and clustering algorithm for regression (OSCAR), equipped with the $\\ell_1$-norm and a pair-wise $\\ell_{\\infty}$-norm regularizer, is a useful tool for feature selection and grouping in high-dimensional data analysis. The computational challenge posed by OSCAR, for high dimensional and/or large sample size data, has not yet been well resolved due to the non-smoothness and inseparability of the regularizer involved. In this paper, we successfully resolve this numerical challenge by proposing a sparse semismooth Newton-based augmented Lagrangian method to solve the more general SLOPE (the sorted L-one penalized estimation) model. By appropriately exploiting the inherent sparse and low-rank property of the generalized Jacobian of the semismooth Newton system in the augmented Lagrangian subproblem, we show how the computational complexity can be substantially reduced. Our algorithm presents a notable advantage in the high-dimensional statistical regression settings. Numerical experiments are conducted on real data sets, and the results demonstrate that our algorithm is far superior, in both speed and robustness, than the existing state-of-the-art algorithms based on first-order iterative schemes, including the widely used accelerated proximal gradient (APG) method and the alternating direction method of multipliers (ADMM).

연구 동기 및 목표

• 기존 1차 방법(APG, ADMM 등)이 고차원 OSCAR 및 SLOPE 모델을 해결하는 데 있어 계산 효율성이 떨어지는 문제를 해결하기 위해.
• 확장 가능한 최적화를 방해하는 OSCAR 정규화의 비미분성과 비분리성 문제를 극복하기 위해.
• 반스무스 뉴턴 시스템의 일반화된 자코비안에 내재된 낮은 랭크 및 희소성 구조를 완전히 활용하는 2차 방법을 개발하기 위해.
• 실제 고차원 데이터 세트에서 최신 1차 알고리즘에 비해 뚜렷한 속도 및 강건성 향상을 입증하기 위해.

제안 방법

• 감소 가중 정렬 ℓ1 노름(DWSL1) 정규화를 갖는 볼록 최적화 모델로 SLOPE 문제를 수식화한다.
• SLOPE 모델의 이중 형식에 보조 라그랑주 방법(ALM)을 적용하여 효율적인 이중 갱신을 가능하게 한다.
• ALM 하위문제를 해결하기 위해 반스무스 뉴턴 방법을 활용하며, 일반화된 뉴턴 방법의 빠른 국소 수렴 특성을 이용한다.
• 일반화된 자코비안 행렬의 내재된 희소성과 낮은 랭크 성질을 활용하여 계산 복잡도를 크게 감소시킨다.
• DWSL1 노름의 프록시 맵핑을 효율적으로 계산하기 위해 풀-이웃-위반자 알고리즘(PAVA)을 사용한다.
• 수렴성과 실용적 강건성을 향상시키기 위해 온난 시작 전략과 적응형 스텝 사이즈를 구현한다.

실험 결과

연구 질문

• RQ1 2차 방법이 SLOPE 및 OSCAR 모델을 해결하는 데 있어 APG 및 ADMM와 같은 1차 방법을 뛰어넘을 수 있는가?
• RQ2 비미분성과 비분리성 구조를 갖는 OSCAR 정규화는 어떻게 효과적으로 계산 가속화에 활용될 수 있는가?
• RQ3 일반화된 자코비안에 내재된 희소성과 낮은 랭크 성질이 반스무스 뉴턴 방법의 효율성에 어떤 영향을 미치는가?
• RQ4 제안된 Newt-ALM 방법은 실제 고차원 데이터 세트에서 강건성과 확장성을 유지할 수 있는가?

주요 결과

• 실제 고차원 데이터 세트에서 APG 및 ADMM에 비해 상당히 빠른 수렴 속도와 높은 강건성을 확보한 것으로 나타났다.
• 마이크로어레이 데이터에서 10,000개의 SLOPE 문제를 약 70분 만에 해결하여 대규모 문제에 대한 확장성을 입증했다.
• 일반화된 자코비안의 2차 희소성과 낮은 랭크 성질을 활용하여 계산 비용을 크게 감소시켰다.
• 수치 결과는 문제 차원이 증가할수록 Newt-ALM의 계산적 우수성이 점점 더 두드러지게 나타남을 보여주었다.
• n ≫ m 인 고차원 설정에서도 빠른 국소 수렴과 강건한 성능을 유지하였다.
• 이중 형식과 반스무스 뉴턴 방법의 조합을 통해 비분리적인 OSCAR 정규화의 효율적 해결이 가능했다.