[논문 리뷰] Scaling Up Sparse Support Vector Machines by Simultaneous Feature and Sample Reduction

Weizhong Zhang, Bin Na Hong외 5명|arXiv (Cornell University)|2016. 07. 24.

Face and Expression Recognition참고 문헌 29인용 수 15

한 줄 요약

이 논문은 희소 서포트 벡터 머신을 위한 새로운 정적 스크리닝 방법인 SIFS(Simultaneous Feature and Sample Screening)를 제안한다. SIFS는 학습 이전에 비활성 특징과 샘플을 동시에 식별하고 제거함으로써, 정확한 원래 최적값 및 이중 최적값 추정을 활용하여 대규모 데이터셋에서 정확도를 훼손하지 않고 주어진 속도 향상의 주요 요소를 달성한다. 이는 희소 SVM에서 특징 공간과 샘플 공간을 동시에 줄이는 데 있어 최초의 방법이다.

ABSTRACT

Sparse support vector machine (SVM) is a popular classification technique that can simultaneously learn a small set of the most interpretable features and identify the support vectors. It has achieved great successes in many real-world applications. However, for large-scale problems involving a huge number of samples and ultra-high dimensional features, solving sparse SVMs remains challenging. By noting that sparse SVMs induce sparsities in both feature and sample spaces, we propose a novel approach, which is based on accurate estimations of the primal and dual optima of sparse SVMs, to simultaneously identify the inactive features and samples that are guaranteed to be irrelevant to the outputs. Thus, we can remove the identified inactive samples and features from the training phase, leading to substantial savings in the computational cost without sacrificing the accuracy. Moreover, we show that our method can be extended to multi-class sparse support vector machines. To the best of our knowledge, the proposed method is the \emph{first} \emph{static} feature and sample reduction method for sparse SVMs and multi-class sparse SVMs. Experiments on both synthetic and real data sets demonstrate that our approach significantly outperforms state-of-the-art methods and the speedup gained by our approach can be orders of magnitude.

연구 동기 및 목표

• 고차원 특징과 대규모 샘플 수를 가진 대규모 데이터셋에서 희소 SVM을 학습하는 데 발생하는 계산적 과제를 해결하기 위해.
• 학습 과정에서 불필요한 특징과 샘플을 동시에 줄이는 방법을 개발하여 특징 공간과 샘플 공간 양쪽에서 희소성을 활용하기 위해.
• 최적화가 시작되기 이전에 비활성 성분을 식별하는 동적 방법과는 달리 정적 스크리닝 접근법을 제공하여 정확도 손실 없이 계산 자원 절약을 보장하기 위해.
• 다중 클래스 희소 SVM으로의 방법 확장을 통해 더 복잡한 분류 작업에 대한 적용 가능성을 넓히기 위해.
• 기존의 특징 전용 또는 샘플 전용 스크리닝 방법보다 희소 SVM의 양쪽 차원을 동시에 타겟으로 삼아 성능을 뛰어넘기 위해.

제안 방법

• 희소 SVM의 원래 최적값과 이중 최적값을 추정하여 비활성 특징과 샘플을 식별하는 정적 스크리닝 프레임워크를 제안한다.
• KKT 조건을 사용하여 최적 해에서 계수 값이 0이 되는 것을 보장하는 스크리닝 규칙을 유도한다. 이를 통해 불필요한 성분을 안전하게 제거할 수 있다.
• 부드러운 절단 연산자와 이중성 기반 추정을 활용하여 원래 문제와 이중 문제의 최적 해에 대한 경계를 도출한다.
• 스크리닝 규칙을 특징 공간과 샘플 공간 양쪽에 동시에 적용하여 데이터 차원과 샘플 수를 동시에 줄이는 것을 가능하게 한다.
• 다중 클래스 희소 SVM을 위한 통합된 수식을 도입하여 다중 클래스 분류 작업으로의 확장을 가능하게 한다.
• 두 단계 스크리닝 전략을 활용한다: 먼저 하한을 통한 이중 최적값 추정을 수행하고, 그 다음 KKT 조건에 기반한 스크리닝 규칙을 적용하여 비활성 성분을 식별한다.

실험 결과

연구 질문

• RQ1 최적 해의 정확도를 유지하면서 희소 SVM 학습에서 특징과 샘플을 동시에 줄일 수 있는가?
• RQ2 최적화가 시작되기 이전에 비활성 특징과 샘플을 식별할 수 있는 정적 스크리닝 규칙을 어떻게 도출할 수 있는가?
• RQ3 식별된 비활성 성분이 최적 해에 실제로 영향을 주지 않는다는 것을 보장하는 이론적 기반은 무엇인가?
• RQ4 대규모 데이터셋에서 특징과 샘플을 동시에 스크리닝하는 방법의 성능이 개별적으로 특징 또는 샘플만 스크리닝하는 방법보다 어떻게 비교되는가?
• RQ5 제안된 방법은 다중 클래스 희소 SVM으로 효과적으로 확장될 수 있는가? 이 경우 효율성과 정확도는 유사하게 유지되는가?

주요 결과

• SIFS는 rcv1, url, kddb와 같은 실제 세계 데이터셋에서 주어진 속도 향상의 주요 요소를 달성하여 최신 스크리닝 방법들을 크게 능가한다.
• 합성 및 실제 데이터셋에서 SIFS는 많은 경우에서 90퍼센트 이상의 특징과 샘플을 제거하여 정확도 손실 없이 학습 시간을 극적으로 단축시킨다.
• 고차원 텍스트 및 이미지 데이터셋을 포함한 다양한 데이터 분포에서 높은 거부 비율을 유지한다.
• 다중 클래스 설정에서는 SIFS가 다중 클래스 희소 SVM으로 성공적으로 확장되어 일관된 성능 향상을 보였다.
• 실증 결과에 따르면 SIFS는 특히 초기 단계의 데이터 감소에서 Shibagaki 등(2016)의 동적 스크리닝 방법보다 더 효과적이다.
• 이론적 분석을 통해 KKT 조건 하에서 스크리닝 규칙이 정확하다는 것이 확인되었으며, 이는 제거된 성분이 최종 해에 영향을 주지 않음을 보장한다.