[논문 리뷰] Fast Best Subset Selection: Coordinate Descent and Local Combinatorial Optimization Algorithms

Hussein Hazimeh, Rahul Mazumder|arXiv (Cornell University)|2018. 03. 04.

Sparse and Compressive Sensing Techniques인용 수 7

한 줄 요약

이 논문은 $L_0L_q$-정규화된 최소제곱 문제를 해결하기 위해 빠른 좌표 강하법과 국소 조합 최적화 알고리즘을 제안하며, 기존의 glmnet 및 ncvreg 같은 툴킷에 비해 최대 3배 빠른 속도 향상을 이룩하면서도 뛰어난 변수 선택 및 예측 성능을 유지를 한다. 이 방법은 최적성 조건의 계층적 구조를 활용하며, 대규모 희소 학습을 위한 오픈소스 L0Learn 툴킷에 구현되어 있다.

ABSTRACT

The $L_0$-regularized least squares problem (a.k.a. best subsets) is central to sparse statistical learning and has attracted significant attention across the wider statistics, machine learning, and optimization communities. Recent work has shown that modern mixed integer optimization (MIO) solvers can be used to address small to moderate instances of this problem. In spite of the usefulness of $L_0$-based estimators and generic MIO solvers, there is a steep computational price to pay when compared to popular sparse learning algorithms (e.g., based on $L_1$ regularization). In this paper, we aim to push the frontiers of computation for a family of $L_0$-regularized problems with additional convex penalties. We propose a new hierarchy of necessary optimality conditions for these problems. We develop fast algorithms, based on coordinate descent and local combinatorial optimization, that are guaranteed to converge to solutions satisfying these optimality conditions. From a statistical viewpoint, an interesting story emerges. When the signal strength is high, our combinatorial optimization algorithms have an edge in challenging statistical settings. When the signal is lower, pure $L_0$ benefits from additional convex regularization. We empirically demonstrate that our family of $L_0$-based estimators can outperform the state-of-the-art sparse learning algorithms in terms of a combination of prediction, estimation, and variable selection metrics under various regimes (e.g., different signal strengths, feature correlations, number of samples and features). Our new open-source sparse learning toolkit L0Learn (available on CRAN and Github) reaches up to a three-fold speedup (with $p$ up to $10^6$) when compared to competing toolkits such as glmnet and ncvreg.

연구 동기 및 목표

• Lasso와 같은 $L_1$ 기반 방법에 비해 훨씬 느리며, NP-완전 문제인 $L_0$-정규화된 회귀의 계산적 병목 현상을 해결한다.
• 고차원 문제($p \sim 10^6$)에 대해 스케일링 가능한 빠른 알고리즘을 개발하여 높은 통계 성능을 유지한다.
• $L_0$ 추정기의 뛰어난 통계적 성질과 대규모 환경에서의 실용적 계산 불가능성 사이의 격차를 메운다.
• 좌표 강하법과 국소 조합 최적화를 통합하여 고품질의 해를 달성하는 통합 프레임워크를 제공한다.

제안 방법

• 최적성 조건의 계층적 구조를 제안하여, 높은 수준일수록 더 강력한 해 품질을 보장한다.
• 해 공간을 효율적으로 탐색하고 초기 고품질 해를 찾는 데 목적이 있는 순환 좌표 강하 알고리즘(알고리즘 1)을 설계한다.
• 소규모 지원 변경을 철저히 테스트하여 해를 개선하고 국소 최적성을 보장하는 국소 조합 최적화 알고리즘(알고리즘 3)을 도입한다.
• 이중 단계 전략을 구현한다: 먼저 좌표 강하법으로 좋은 시작점을 확보하고, 그 다음 국소 탐색을 통해 해를 국소 최적의 지원으로 정밀 조정한다.
• L0Learn C++/R 구현에서 문제 특화 구조와 효율적인 데이터 구조를 활용하여 뚜렷한 속도 향상을 달성한다.
• 알고리즘을 L0Learn에 통합하여, CRAN과 GitHub에서 이용 가능한 오픈소스 R/C++ 툴킷으로 제공하며, $L_0L_1$ 및 $L_0L_2$ 정규화를 모두 지원한다.

실험 결과

연구 질문

• RQ1 좌표 강하법과 국소 조합 최적화를 융합하여 대규모 $L_0L_q$-정규화된 회귀 문제를 효율적으로 해결할 수 있으며, 높은 통계 성능을 유지할 수 있는가?
• RQ2 다양한 신호 대 잡음 비율과 특징 상관관계에서, $L_0L_q$ 추정기는 Lasso, MCP, 엘라스틱넷과 같은 최첨단 희소 학습 방법에 비해 예측, 추정, 변수 선택 측면에서 어떻게 성능을 냈는가?
• RQ3 저신호 및 고신호 환경에서 순수 $L_0$ 정규화와 $L_0L_q$ 정규화 사이의 계산적 및 통계적 트레이드오프는 어떠한가?
• RQ4 국소 조합 최적화가 좌표 강하법의 해를 얼마나 향상시키며, 해 품질과 지원 희소성 측면에서 전역 MIO 해에 얼마나 가까이 도달하는가?
• RQ5 제안된 알고리즘이 $p \sim 10^6$ 개의 특징을 가진 문제에 대해도 스케일링 가능하며, 경쟁 가능한 학습 시간과 외부 샘플 성능을 유지할 수 있는가?

주요 결과

• 제안된 알고리즘은 glmnet 및 ncvreg와 같은 경쟁 툴킷에 비해 최대 3배 빠른 속도 향상을 보였으며, 대규모 데이터셋에서 학습 시간을 분에서 초 단위로 단축시켰다.
• Gaussian 1M 데이터셋($p = 10^6$, $n = 200$)에서 L0Learn는 $L_0L_2$ 정규화에 대해 16.5초, $L_0L_1$ 정규화에 대해 16.7초의 학습 시간을 기록했으며, glmnet와 ncvreg는 각각 22.5초와 36.5초였다.
• L0Learn는 매우 희소한 모델을 생성했으며, 예를 들어 Gaussian 1M 데이터셋에서 오직 11개의 비영계수를 가졌고, 경쟁적인 외부 샘플 평균제곱오차(MSE)를 유지했다.
• 저신호 대 잡음 비율 환경에서 $L_0L_2$ 정규화는 Lasso와 MCP에 비해 훨씬 작은 지원 크기로 더 높은 예측 정확도를 보였으며, 희소성와 예측 간의 균형을 향상시켰다.
• 알고리즘 3(국소 조합 최적화)의 해는 해 품질 측면에서 전역 MIO 솔버의 결과와 일치하거나 근접했으며, 계산 시간은 크게 감소했다.
• 실험 결과, 다양한 데이터 환경에서 $L_0L_q$ 추정기는 예측, 추정, 변수 선택 메트릭의 조합에서 최첨단 희소 학습 알고리즘을 일관되게 능가했다.