[논문 리뷰] Feature Selection for Linear SVM with Provable Guarantees

Saurabh Paul, Malik Magdon‐Ismail외 1명|arXiv (Cornell University)|2014. 06. 01.

Face and Expression Recognition인용 수 13

한 줄 요약

이 논문은 스펙트럼 스퍼스피케이션과 레버리지 스코어 샘플링를 사용하여 선형 SVM에 대한 두 가지 증명 가능하게 정확한 특성 선택 방법—결정론적 및 랜덤화된 방법—을 제안한다. 특성 선택을 통해 마진이 $\epsilon$-상대 오차 내에서 유지되며, 지원 벡터의 수에 비례하여 $O(\text{#support vectors}/\epsilon^2)$개의 특성을 선택함으로써 마진과 반경에 대한 이론적 경계를 제공하여, SVM의 비지도 특성 선택 분야에서 열려 있던 문제를 해결한다.

ABSTRACT

We give two provably accurate feature-selection techniques for the linear SVM. The algorithms run in deterministic and randomized time respectively. Our algorithms can be used in an unsupervised or supervised setting. The supervised approach is based on sampling features from support vectors. We prove that the margin in the feature space is preserved to within $ε$-relative error of the margin in the full feature space in the worst-case. In the unsupervised setting, we also provide worst-case guarantees of the radius of the minimum enclosing ball, thereby ensuring comparable generalization as in the full feature space and resolving an open problem posed in Dasgupta et al. We present extensive experiments on real-world datasets to support our theory and to demonstrate that our method is competitive and often better than prior state-of-the-art, for which there are no known provable guarantees.

연구 동기 및 목표

• 기존 선형 SVM 특성 선택 방법에서 이론적 보장을 부족하게 다루는 문제를 해결하기 위해.
• 감독 및 비감독 설정 모두에서 마진 유지에 대한 증명 가능한 최악의 경우 성능 보장을 제공하기 위해.
• 최소 봉투 구의 마진과 반경을 모두 유지함으로써 비지도 특성 선택의 열린 문제를 해결하기 위해.
• 지원 벡터만을 사용하여 효율적인 특성 선택을 가능하게 하여, 전체 데이터셋에서 마진 정확성을 유지하면서 특성 수를 $O(\text{#support vectors}/\epsilon^2)$로 줄이기 위해.
• 이론적 근거와 실험적 검증을 통해 비지도 특성 선택 기법을 감독 설정으로 확장하기 위해.

제안 방법

• 단일 집합 스펙트럼 스퍼스피케이션을 결정론적 알고리즘으로 사용하여, 마진이 $\epsilon$-상대 오차 내에서 유지되는 특성을 선택한다.
• 레버리지 스코어 샘플링을 랜덤화 알고리즘으로 적용하여, 유사한 마진 보장을 갖는 $\tilde{O}(\text{#support vectors}/\epsilon^2)$개의 특성을 선택한다.
• 비지도 특성 선택을 감독 학습으로 확장하기 위해, 전체 데이터셋 대신 지원 벡터 집합에 해당 방법을 적용한다.
• 지원 벡터가 선형 SVM 학습에 충분통계량임을 활용하여, 지원 벡터에서 마진이 유지되면 전체 데이터셋에서도 마진이 유지됨을 보장한다.
• 대규모 데이터셋에 대응하기 위해, 지원 벡터 행렬의 우측 특이벡터를 근사하기 위해 랜덤 프로젝션을 사용하는 약간의 BSS(블록-와이즈 수직 반복) 히우리스틱을 도입한다.
• 랜덤 가우시안 행렬 $\mathbf{G} \in \mathbb{R}^{t \times p}$를 지원 벡터 행렬 $\mathbf{X}$에 사전 곱하여, 투영된 행렬에서 SVD를 통해 효율적인 특성 선택을 수행할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 선형 SVM에 대해 마진 유지에 대해 $\epsilon$-상대 오차를 보장하는 특성 선택 방법을 설계할 수 있는가? 이때 최악의 경우 성능 보장이 증명 가능해야 한다.
• RQ2 비지도 특성 선택 기법을 감독 설정으로 확장할 수 있는가? 이때 이론적 보장이 유지되어야 한다.
• RQ3 비지도 설정에서 마진과 최소 봉투 구의 반경을 모두 증명 가능한 보장 하에 유지할 수 있는가?
• RQ4 마진을 지원 벡터에서 유지하면서도 선택된 특성 수를 $O(\text{#support vectors}/\epsilon^2)$로 줄일 수 있는가?
• RQ5 제안된 방법의 성능는 증명 가능 보장이 없는 최신 기법들과 실사용에서 어떻게 비교되는가?

주요 결과

• 결정론적 알고리즘은 $O(\text{#support vectors}/\epsilon^2)$개의 특성을 선택하고, $\tilde{\gamma}^{*2} \geq (1 - \epsilon)\gamma^{*2}$를 보장하여 마진을 $\epsilon$-상대 오차 내에서 유지한다.
• 랜덤화 알고리즘은 $\tilde{O}(\text{#support vectors}/\epsilon^2)$개의 특성을 필요로 하며, 동일한 $\epsilon$-상대 마진 보장을 달성한다.
• 비지도 설정에서 결정론적 알고리즘은 $O(\rho/\epsilon^2)$개의 특성을 선택하며, $\rho$는 데이터의 질량이다. 이는 마진과 반경을 모두 $\epsilon$-상대 오차 내에서 유지한다.
• 최소 봉투 구의 반경은 $\tilde{B}^2 \leq (1 + \epsilon)B^2$로 유지되어, $B^2/\gamma^{*2}$가 $\epsilon$-상대 오차 내에서 유지됨을 보장한다.
• 실험 결과, BSS와 레버리지 스코어 샘플링는 RFE, RRQR, LPSVM와 같은 이전 최신 기법들과 경쟁하거나 그 이상의 성능를 보이며, 특히 감독 설정에서 뛰어난 성능을 나타낸다.
• 적용된 BSS 히우리스틱은 $t = 128$ 및 $t = 256$ 프로젝션에서 이.out-of-sample 오차가 RRQR 수준이며, RFE 및 LPSVM와 유사한 성능를 보이며, $t$가 증가할수록 성능이 향상된다.