[논문 리뷰] Semi-Smooth Newton Algorithm for Non-Convex Penalized Linear Regression

Yueyong Shi, Jian Huang외 2명|arXiv (Cornell University)|2018. 02. 24.

Sparse and Compressive Sensing Techniques참고 문헌 56인용 수 3

한 줄 요약

이 논문은 비볼록이고 비스무스한 SCAD 및 MCP 페널티 선형 회귀 문제를 해결하기 위한 반-스무쓰 뉴턴(SSN) 알고리즘을 제안한다. 전역 최소화점을 비스무스한 방정식의 근으로 재구성함으로써, SSN 방법은 각 반복당 O(np) 비용을 가지며 국소 초선형 수렴과 계산 효율성을 달성한다. 이는 좌표 강하법과 DC 프록시멀 뉴턴 방법보다 빠르면서도 높은 정확도를 유지한다.

ABSTRACT

Both the smoothly clipped absolute deviation (SCAD) and the minimax concave penalty (MCP) penalized linear regression models are capable of dealing with variable selection and parameter estimation simultaneously. Theoretically, these two models enjoy the oracle property even in the high dimensional settings where the number of predictors $p$ may be much larger than the number of observations $n$. However, numerically, it is quite challenging to develop fast and stable algorithms due to their non-convexity and non-smoothness. In this paper we develop a fast algorithm for SCAD and MCP penalized problems. First, we derive that the global minimizers of both models are roots of some nonsmooth equations. Then, Semi-smooth Newton (SSN) algorithm is employed to solve the equations. We prove the SSN algorithm converges locally and superlinearly to KKT points. Computational complexity analysis demonstrates that the cost of SSN algorithm per iteration is $O(np)$. Combining with the warmstarting technique SSN algorithm can be very efficient. Simulation studies and real data examples show that the SSN algorithm outperforms coordinate descent and DC proximal Newton algorithms in computational efficiency while reaching comparable accuracy.

연구 동기 및 목표

• SCAD 및 MCP와 같은 비볼록이고 비스무스한 페널티 선형 회귀 문제를 해결하는 데 발생하는 계산적 과제를 해결하기 위해.
• SCAD 및 MCP 페널티 선형 회귀의 전역 최소화점을 효율적으로 계산하는 빠르고 안정적인 알고리즘을 개발하기 위해.
• KKT 조건의 비스무스한 방정식 재구성 기법을 활용하여 최적화를 효율적으로 수행하기 위해.
• 기존 방법들인 좌표 강하법과 DC 프록시멀 뉴턴 방법과 비교해 뛰어난 계산 성능을 달성하기 위해.

제안 방법

• SCAD 및 MCP 페널티 선형 회귀의 전역 최소화점을 KKT 조건에서 유도된 비스무스한 방정식의 근으로 재구성한다.
• 해당 비스무스한 방정식을 해결하기 위해 반-스무쓰 뉴턴(SSN) 알고리즘을 적용한다.
• 적절한 조건 하에서 SSN 알고리즘이 KKT 점으로 국소 초선형 수렴함을 증명한다.
• 계산 복잡도를 분석하여 각 반복당 O(np) 비용을 가지며 고차원 데이터에 대해 확장 가능함을 보여준다.
• 다양한 파라미터 값에 걸쳐 효율성을 더욱 향상시키기 위해 웜스타트 기법을 통합한다.
• 모의 및 실질 데이터 세트에서 SSN 알고리즘을 좌표 강하법과 DC 프록시멀 뉴턴 방법과 비교하여 구현하고 평가한다.

실험 결과

연구 질문

• RQ1 SCAD 및 MCP 페널티 선형 회귀의 비스무스한 방정식 재구성은 더 빠르고 안정적인 최적화를 이끌 수 있는가?
• RQ2 반-스무쓰 뉴턴 알고리즘이 비볼록이고 비스무스한 페널티 선형 회귀 문제에 대해 초선형 수렴을 달성하는가?
• RQ3 고차원 환경에서 SSN 알고리즘의 계산 효율성은 좌표 강하법과 DC 프록시멀 뉴턴 방법과 비교해 어떻게 되는가?
• RQ4 실제 응용에서 웜스타트 기법은 SSN 알고리즘의 성능 향상에 어느 정도 기여하는가?

주요 결과

• SSN 알고리즘은 KKT 점으로 국소적으로 초선형으로 수렴하여 최적 해 근처에서 빠른 수렴을 보장한다.
• 반복당 계산 비용은 O(np)이므로, p가 큰 고차원 문제에 대해서도 효율적이다.
• 모의 실험 결과, SSN 알고리즘은 좌표 강하법과 DC 프록시멀 뉴턴 방법보다 유의미하게 빠르며, 유사한 해 정확도를 달성한다.
• 실제 데이터 예제는 SSN 알고리즘이 실질적인 회귀 환경에서 뛰어난 계산 효율성을 보임을 확인한다.