[논문 리뷰] Learning Sparse Classifiers: Continuous and Mixed Integer Optimization Perspectives

Antoine Dedieu, Hussein Hazimeh외 1명|arXiv (Cornell University)|2020. 01. 17.

Sparse and Compressive Sensing Techniques인용 수 12

한 줄 요약

이 논문은 $\mu$at-regularized 최적화를 통한 희소 분류기 학습을 위한 확장 가능한 정수형 프로그래밍(MIP) 기반 알고리즘을 제안하며, 정확한 정수성 생성 방법과 근사적인 좌표 하강/국소 탐색 기법을 도입한다. 이로 인해 $p \approx 50,000$ 차원의 특징에 대해 몇 분 내로 최적 또는 근사 최적 해를 달 đạt하고, $p \approx 10^6$에 대해서도 $\ell_1$ 방법과 유사한 시간 내에 해결 가능하며, 실제 및 시뮬레이션 데이터에서 더 향상된 변수 선택과 통계적 성능을 확보한다.

ABSTRACT

We consider a discrete optimization formulation for learning sparse classifiers, where the outcome depends upon a linear combination of a small subset of features. Recent work has shown that mixed integer programming (MIP) can be used to solve (to optimality) $\\ell_0$-regularized regression problems at scales much larger than what was conventionally considered possible. Despite their usefulness, MIP-based global optimization approaches are significantly slower compared to the relatively mature algorithms for $\\ell_1$-regularization and heuristics for nonconvex regularized problems. We aim to bridge this gap in computation times by developing new MIP-based algorithms for $\\ell_0$-regularized classification. We propose two classes of scalable algorithms: an exact algorithm that can handle $p\\approx 50,000$ features in a few minutes, and approximate algorithms that can address instances with $p\\approx 10^6$ in times comparable to the fast $\\ell_1$-based algorithms. Our exact algorithm is based on the novel idea of \ extsl{integrality generation}, which solves the original problem (with $p$ binary variables) via a sequence of mixed integer programs that involve a small number of binary variables. Our approximate algorithms are based on coordinate descent and local combinatorial search. In addition, we present new estimation error bounds for a class of $\\ell_0$-regularized estimators. Experiments on real and synthetic data demonstrate that our approach leads to models with considerably improved statistical performance (especially, variable selection) when compared to competing methods.

연구 동기 및 목표

• MIP 기반의 $\ell_0$-정규화 분류 문제에 대해 전역 최적해를 보장하지만 $\ell_1$ 기반 방법에 비해 느린 계산 병목 현상을 해결하기 위해.
• 고차원 특징 수($p \approx 50,000$에서 $10^6$)에서도 효율적으로 작동하는 확장 가능한 정확한 및 근사 알고리즘을 개발하기 위해.
• 통합 최적화 프레임워크 내에서 $\ell_0$ 희소성과 연속적 $\ell_q$ ($q=1,2$) 정규화를 조합하여 모델 안정성과 변수 선택 성능을 향상시키기 위해.
• 고차원 설정 하에서 $\ell_0$-정규화 추정기의 이론적 추정 오차 경계를 수립하기 위해.

제안 방법

• 원래의 $p$-이진 변수 MIP 문제를 소수의 이진 변수를 가진 더 작은 MIP 시퀀스로 푸는 정확한 정수성 생성 기반 알고리즘을 도입한다.
• 좌표 하강 및 국소 조합적 탐색 기법을 활용한 근사 알고리즘을 개발하여 $p \approx 10^6$ 차원의 특징에 대해 $\ell_1$ 방법과 유사한 실행 시간을 확보한다.
• $\ell_0$와 $\ell_q$ ($q=1,2$) 펜alties를 조합한 하이브리드 정규화 프레임워크를 제안하여 모델 안정성과 변수 선택 성능을 향상시킨다.
• 비볼록인 $\ell_0$-정규화 문제의 최적성 증명을 보장하기 위해 강력한 이중 경계를 활용한 분기 및 구속 MIP 프레임워크를 활용한다.
• 고차원 샘플링 가정 하에서 이론적 추정 오차 경계를 유도하며, 이는 희소성 $k$, 표본 크기 $n$, 특징 차원 $p$ 에 따라 결정됨을 보여준다.
• 새로운 이중 증명 기반 접근법을 사용하여 MIP 수식의 해가 최적성에 대한 충분조건을 만족함을 증명한다.

실험 결과

연구 질문

• RQ1 MIP 기반 방법이 $p \approx 50,000$ 차원의 특징을 가진 $\ell_0$-정규화 분류 문제를 몇 분 내로 확장 가능하게 만들 수 있는가?
• RQ2 근사적인 MIP 알고리즘이 $\ell_1$ 기반 방법과 유사한 속도를 확보하면서도 높은 통계적 성능을 유지할 수 있는가?
• RQ3 $\ell_0$ 희소성과 연속적 $\ell_q$ 정규화($q=1,2$)를 조합하면 $\ell_1$ 또는 순수 $\ell_0$ 방법보다 더 나은 변수 선택과 낮은 추정 오차를 달성할 수 있는가?
• RQ4 노이즈가 많거나 신호 대 잡음 비율이 낮은 고차원 설정에서 $\ell_0$-정규화 추정기의 이론적 추정 오차 경계는 무엇인가?

주요 결과

• 정확한 정수성 생성 알고리즘은 $p \approx 50,000$ 차원의 특징을 가진 $\ell_0$-정규화 분류 문제를 몇 분 내로 해결하며 전역 최적해를 달성한다.
• 좌표 하강 및 국소 탐색 기반 근사 알고리즘은 $p \approx 10^6$ 차원의 특징에 대해 $\ell_1$ 기반 방법과 유사한 실행 시간을 확보한다.
• 실제 및 시뮬레이션 데이터셋에서 제안된 $\ell_0$ 기반 모델은 $\ell_1$ 정규화 로지스틱 회귀보다 유의미하게 향상된 변수 선택 성능과 더 높은 AUC를 달성한다.
• 이론적 분석을 통해 $\ell_0$-정규화 추정기의 추정 오차가 $O\left(\frac{k \log(p/k)}{n}\right)$ 의 속도로 감소함을 확인하였으며, 이는 희소성 조건 하에서 최적의 수렴 속도를 따른다.
• 오차 경계는 제한된 고유값 조건 $\kappa(k)$ 에 의존하며, 설계 행렬이 강한 비일관성 또는 고유값 조건을 만족할 경우 더 날카로운 경계를 제공한다.
• 실험 결과 $\ell_0$-$\ell_2$ 및 $\ell_0$-$\ell_1$ 정규화 모델이 여러 데이터셋(Arcene, Dorothea, Dexter)에서 AUC와 지원 크기의 상호 보완적 특성 면에서 $\ell_1$ 대비 일관되게 뛰어난 성능을 보였다.