[논문 리뷰] An Equivalence between the Lasso and Support Vector Machines

Martin Jaggi|arXiv (Cornell University)|2013. 03. 05.

Machine Learning and Algorithms참고 문헌 45인용 수 32

한 줄 요약

이 논문은 라소와 $ε$-손실을 가지는 서포트 벡터 머신(SVMs) 사이의 수학적 동치성을 확립하여, 모든 라소 문제를 등가의 SVM 문제로 재구성할 수 있고, 그 반대도 가능하다는 것을 보여준다. 주요 기여는 라소 해의 희소성 패턴이 등가의 SVM에서의 서포트 벡터와 정확히 일치한다는 점으로, 이는 두 방법 간에 알고리즘, 이론적 통찰, 스크리닝 규칙의 상호 전이를 가능하게 한다.

ABSTRACT

We investigate the relation of two fundamental tools in machine learning and signal processing, that is the support vector machine (SVM) for classification, and the Lasso technique used in regression. We show that the resulting optimization problems are equivalent, in the following sense. Given any instance of an $\ell_2$-loss soft-margin (or hard-margin) SVM, we construct a Lasso instance having the same optimal solutions, and vice versa. As a consequence, many existing optimization algorithms for both SVMs and Lasso can also be applied to the respective other problem instances. Also, the equivalence allows for many known theoretical insights for SVM and Lasso to be translated between the two settings. One such implication gives a simple kernelized version of the Lasso, analogous to the kernels used in the SVM setting. Another consequence is that the sparsity of a Lasso solution is equal to the number of support vectors for the corresponding SVM instance, and that one can use screening rules to prune the set of support vectors. Furthermore, we can relate sublinear time algorithms for the two problems, and give a new such algorithm variant for the Lasso. We also study the regularization paths for both methods.

연구 동기 및 목표

• 라소와 $ε$-손실 SVM 간의 공식적인 수학적 동치성을 확립하여, 두 방법 간의 알고리즘과 이론의 상호 전이를 가능하게 한다.
• 라소 해의 희소성이 해당 SVM 인스턴스의 서포트 벡터 수와 정확히 동일하다는 것을 보여준다.
• 라소에 개발된 스크리닝 규칙을 SVM에 직접 적용하여 사전 처리 및 차원 축소를 위한 비지원 벡터를 사전에 제거할 수 있도록 한다.
• 동치성에 기반해 SVM의 커널 방법을 라소로 확장하여 커널화된 라소를 가능하게 한다.
• 두 방법의 정규화 경로를 분석하고 비교하여, 매개변수 변화에 따른 구조적 유사성을 밝혀낸다.

제안 방법

• 단위 심플렉스 위에서 최소 노름 문제로 $ε$-손실 SVM의 이중 형태를 구성한다: $\min_{x\in\triangle} \|Ax\|^2$, 여기서 $A$는 데이터 및 정규화 성분을 통합한 행렬이다.
• 데이터 행렬과 제약 조건을 재정의하여 라소 문제 $\min_{x\in\blacklozenge} \|Ax - b\|^2$ 를 등가의 SVM 인스턴스로 변환한다.
• 동치성을 활용해 라소 해의 희소성 패턴을 직접 해당 SVM의 서포트 벡터로 매핑한다.
• 기존의 서브라인 시간 알고리즘을 SVM에 적용하여, 라소에 대한 새로운 서브라인 시간 변종 알고리즘을 유도한다.
• 등가의 SVM 인스턴스를 커널 함수를 통해 고차원 공간으로 매핑함으로써 라소에 커널 트릭을 적용한다.
• 동치성을 활용해 두 방법의 정규화 경로를 연결하여, 경로 복잡성과 서포트 벡터의 변화가 구조적으로 연관되어 있음을 보여준다.

실험 결과

연구 질문

• RQ1 모든 라소 문제를 동일한 최적 해를 가지는 등가의 SVM 문제로 재구성할 수 있는가?
• RQ2 라소 해의 희소성 패턴이 해당 SVM 인스턴스의 서포트 벡터 집합과 정확히 일치하는가?
• RQ3 라소에 대해 개발된 스크리닝 규칙을 SVM에 직접 적용하여 훈련 이전에 비지원 벡터를 사전에 제거할 수 있는가?
• RQ4 SVM에서 유래한 커널 방법이 동치성에 기반해 라소로 자연스럽게 확장될 수 있는가?
• RQ5 매개변수 변화에 따라 라소와 SVM의 정규화 경로는 어떻게 비교되며, 이는 해의 복잡성에 어떤 함의를 갖는가?

주요 결과

• 제안된 변환 하에 라소 문제의 최적 해와 그 등가의 SVM 인스턴스의 최적 해는 정확히 일치하며, 이는 일대일 대응을 보여준다.
• 라소 해에서의 비영계수의 수는 해당 SVM에서의 서포트 벡터 수와 정확히 일치하며, 이는 희소성 동치성을 확인한다.
• 라소에서 개발된 스크리닝 규칙을 SVM에 적용하여 훈련 이전에 비활성 변수(비지원 벡터)를 식별하고 제거함으로써 문제 크기를 줄일 수 있다.
• SVM의 커널 트릭을 통해 자연스럽게 커널화된 라소 변종이 도출되며, 이는 라소와 유사한 희소성 특성을 가진 비선형 회귀를 가능하게 한다.
• SVM에 대해 개발된 서브라인 시간 알고리즘이 라소 문제에 직접 적용되어 새로운 효율적인 알고리즘 변종을 도출할 수 있다.
• 라소의 정규화 경로는 SVM 설정으로 매핑될 수 있으며, 데이터 스케일링에 따라 서포트 벡터 수가 크게 변할 수 있음을 보여주며, 이는 잠재적인 경로 복잡성의 가능성을 시사한다.