[논문 리뷰] Solving large-scale L1-regularized SVMs and cousins: the surprising effectiveness of column and constraint generation.

Antoine Dedieu, Rahul Mazumder|arXiv (Cornell University)|2019. 01. 06.

Sparse and Compressive Sensing Techniques참고 문헌 32인용 수 5

한 줄 요약

이 논문은 대규모 L1-정규화된 SVM 및 관련 문제를 해결하기 위해 고전적 분해 방법과 1차 최적화 기법을 융합한 새로운 컬럼 및 제약 조건 생성 알고리즘을 제안한다. 이러한 기법들을 융합함으로써, 실제 및 합성 데이터셋에서 상용 솔버와 전용 구현 대비 수개의 주기적 속도 향상을 달성하며, 특히 어려운 LP 기반 기계학습 작업에서 놀라운 효과를 보여준다.

ABSTRACT

The linear Support Vector Machine (SVM) is one of the most popular binary classification techniques in machine learning. Motivated by applications in modern high dimensional statistics, we consider penalized SVM problems involving the minimization of a hinge-loss function with a convex sparsity-inducing regularizer such as: the L1-norm on the coefficients, its grouped generalization and the sorted L1-penalty (aka Slope). Each problem can be expressed as a Linear Program (LP) and is computationally challenging when the number of features and/or samples is large -- the current state of algorithms for these problems is rather nascent when compared to the usual L2-regularized linear SVM. To this end, we propose new computational algorithms for these LPs by bringing together techniques from (a) classical column (and constraint) generation methods and (b) first order methods for non-smooth convex optimization - techniques that are rarely used together for solving large scale LPs. These components have their respective strengths; and while they are found to be useful as separate entities, they have not been used together in the context of solving large scale LPs such as the ones studied herein. Our approach complements the strengths of (a) and (b) --- leading to a scheme that seems to outperform commercial solvers as well as specialized implementations for these problems by orders of magnitude. We present numerical results on a series of real and synthetic datasets demonstrating the surprising effectiveness of classic column/constraint generation methods in the context of challenging LP-based machine learning tasks.

연구 동기 및 목표

• 대규모 L1-정규화된 SVM 및 관련 문제, 예를 들어 그룹화된 Lasso와 Slope-정규화된 SVM 등 해결에 있어 계산적 과제를 해결하기 위해.
• 특히 고차원 설정에서 L2-정규화된 SVM 솔버에 비해 개발이 부족한 기존 알고리즘의 한계를 극복하기 위해.
• 컬럼/제약 조건 생성 기법과 1차 최적화 기법의 장점을 살린 확장 가능하고 효율적인 솔루션 프레임워크를 개발하기 위해.
• 실제 및 합성 데이터셋에서 이 하이브리드 접근법의 효과성을 입증하여 최신 솔버 대비 뚜렷한 성능 향상을 보여주기 위해.

제안 방법

• L1-정규화된 SVM 및 그 변종 문제를 구조적 특성을 활용한 대규모 선형계획문(LP)으로 재구성한다.
• 동적으로 관련 특징(컬럼)을 생성하기 위해 컬럼 생성 기법을 적용하고, 활성 제약 조건을 식별하기 위해 제약 조건 생성 기법을 사용하여 반복적으로 문제 크기를 축소한다.
• 손실 함수에 L1 정규화가 적용된 비미분 가능 볼록 최적화 문제의 특성을 활용해, 서브기울기 또는 번들 방법과 같은 1차 최적화 기법을 주 문제를 효율적으로 해결하는 데 사용한다.
• 1차 최적화 기법을 통해 제한된 주 문제를 반복적으로 해결하고, 가격 설정 하위문제를 통해 새로운 컬럼/제약 조건을 생성하는 방식으로 알고리즘을 번갈아가며 실행하여 최적해 수렴을 보장한다.
• 그룹화된 L1 및 Slope 페널티에 대한 확장은 가격 설정 및 주 문제 설정을 그룹의 구조와 정렬된 페널티를 고려하도록 적응시켜 수행한다.
• 고전적 분해 기법과 현대적 1차 최적화 기법을 통합하여, 각각의 장점을 극대화하는 상호보완적 구조를 형성함으로써, 단독으로 사용할 경우보다 뛰어난 성능을 달성한다.

실험 결과

연구 질문

• RQ1 컬럼 및 제약 조건 생성 기법을 1차 최적화 기법과 효과적으로 융합하여, 기존 접근법보다 대규모 L1-정규화된 SVM 문제를 더 효율적으로 해결할 수 있는가?
• RQ2 제안된 하이브리드 방법은 L1-정규화된 SVM 문제에 대해 상용 솔버 및 전용 구현 대비 성능에서 어떻게 비교되는가?
• RQ3 분해 기법과 1차 최적화 기법의 통합이 고차원 데이터셋에서 확장성에 얼마나 기여하는가?
• RQ4 이 방법은 표준 L1, 그룹화된 Lasso, Slope 등 다양한 정규화 기법에서도 강력한 성능을 유지하는가?
• RQ5 이 접근법은 실제 및 합성 데이터셋에서 해의 시간과 수렴 속도 측면에서 실제로 어떤 영향을 미치는가?

주요 결과

• 제안된 컬럼 및 제약 조건 생성 방법은 상용 솔버 및 전용 구현 대비 L1-정규화된 SVM 문제의 해를 구하는 데 있어 수개의 주기적 속도 향상을 보여준다.
• 1차 최적화 기법과 컬럼/제약 조건 생성의 융합은 두 기법의 장점이 상호 보완되어 강화되는 상호작용 효과를 낳는다.
• 이 방법은 고차원 설정에서 특징 수와 샘플 수가 많아도 실질적 및 합성 데이터셋 모두에서 빠른 수렴과 확장성을 확보한다.
• 이 접근법은 표준 L1, 그룹화된 Lasso, Slope 등 다양한 정규화 기법에 효과적으로 적용되며, 넓은 적용 가능성을 보여준다.
• 수치 실험 결과, 이 방법은 다양한 문제 유형에서 뛰어난 안정성을 유지하며, 기존 표준 솔버로는 해결이 어려웠던 문제들을 종종 몇 분 내로 해결할 수 있음을 입증한다.