[논문 리뷰] Safe Sample Screening for Support Vector Machines

Kohei Ogawa, Yoshiki Suzuki외 2명|arXiv (Cornell University)|2014. 01. 27.

Face and Expression Recognition참고 문헌 29인용 수 9

한 줄 요약

이 논문은 지원벡터기반모형(SVM)을 위한 새로운 안전한 샘플 선별 방법을 제안하며, 학습 이전에 비지지벡터를 보장적으로 식별함으로써 상당한 계산 절감을 가능하게 한다. 쌍대성과 최적성 조건을 활용하여, 최적해의 최적성에 영향을 주지 않으면서도 최대 90%의 샘플을 선별 제거할 수 있으며, 이는 SVM 학습과 정규화 경로 계산을 크게 가속화한다.

ABSTRACT

Sparse classifiers such as the support vector machines (SVM) are efficient in test-phases because the classifier is characterized only by a subset of the samples called support vectors (SVs), and the rest of the samples (non SVs) have no influence on the classification result. However, the advantage of the sparsity has not been fully exploited in training phases because it is generally difficult to know which sample turns out to be SV beforehand. In this paper, we introduce a new approach called safe sample screening that enables us to identify a subset of the non-SVs and screen them out prior to the training phase. Our approach is different from existing heuristic approaches in the sense that the screened samples are guaranteed to be non-SVs at the optimal solution. We investigate the advantage of the safe sample screening approach through intensive numerical experiments, and demonstrate that it can substantially decrease the computational cost of the state-of-the-art SVM solvers such as LIBSVM. In the current big data era, we believe that safe sample screening would be of great practical importance since the data size can be reduced without sacrificing the optimality of the final solution.

연구 동기 및 목표

• 최종 모델에서 지지벡터의 희소성에도 불구하고 대부분의 계산 시간이 지지벡터를 식별하는 데 소요되는 SVM 학습의 비효율성을 해결하기 위해.
• 학습 이전에 증명 가능하게 비지지벡터를 식별하고 제거할 수 있는 방법을 개발하여 최적성의 손실 없이 보장하기 위해.
• LIBSVM과 같은 최신 SVM 솔버의 효율성을 향상시키고, 정규화 경로를 통한 더 빠른 모델 선택을 가능하게 하기 위해.
• 기존의 특성 선택 기반 안전한 선별 기법을 샘플 선별으로 확장하여, 대안 간 거리 원리에 의해 야기되는 비현실적인 과제를 극복하기 위해.

제안 방법

• 쌍대성과 최적성 조건을 기반으로 한 세 가지 안전한 샘플 선별 규칙(BT1, BT2, IT)을 제안하며, 각 샘플의 영향력을 기준 솔루션을 통해 경계를 설정한다.
• 선별 규칙의 원래 및 쌍대 형식을 유도하며, 쌍대 형식은 커널 행렬과 쌍대 변수를 통해 효율적인 계산을 가능하게 한다.
• ε-근사 경로 알고리즘을 활용한 온난스타트 전략을 적용하여 다양한 C 값에서의 정규화 경로를 계산하면서도 해의 품질을 유지한다.
• 이전 C 값에서의 기준 솔루션을 활용하여, 특정 샘플이 학습에서 안전하게 제외될 수 있는지를 판단하는 경계를 구성한다.
• 기본적인 SVM 솔버(LIBSVM, LIBLINEAR 등)에 입력하기 전에 사전 처리 단계로 선별 규칙을 적용한다.
• 정규화 경로 계산에 선별 기법을 통합하여, 여러 C 값에 걸쳐 훈련 세트 크기를 점진적으로 감소시킬 수 있도록 한다.

실험 결과

연구 질문

• RQ1 우리는 SVM 최적화 문제를 풀기 이전에 지정된 비지지벡터임이 보장되는 훈련 샘플의 부분집합을 식별할 수 있는가?
• RQ2 계산적으로 효율적이면서도 증명 가능한 안전성을 확보하여 진짜 지지벡터가 제거되지 않도록 하는 선별 규칙을 어떻게 구성할 수 있는가?
• RQ3 안전한 샘플 선별이 SVM 학습 및 정규화 경로 계산의 계산 비용에 어떤 영향을 미치는가?
• RQ4 선별 비율과 최적성 유지 측면에서 기존의 히우리스틱 선별 또는 예측 기반 접근법에 비해 제안된 방법은 어떻게 비교되는가?
• RQ5 온난스타트 전략과 효과적으로 조합되어 다양한 정규화 매개변수에서 효율적인 모델 선택을 가능하게 할 수 있는가?

주요 결과

• 제안된 안전한 샘플 선별 방법은 최종 SVM 해의 최적성에 영향을 주지 않으면서도 훈련 샘플의 최대 90%를 비지지벡터로 식별하고 제거할 수 있다.
• 수치 실험에서, 문제 크기가 극적으로 감소함에 따라 LIBSVM 및 LIBLINEAR 솔버와 조합했을 때 학습 시간이 크게 단축됨을 확인하였다.
• 이론적 보장과 실증적 선별 성능 측면에서 Wang 등 [23]의 기존 방법보다 본 연구의 방법이 뛰어나다.
• ε-근사 경로 알고리즘과 안전한 선별의 통합은 다양한 C 값 범위에서 해의 품질을 유지하면서도 정규화 경로를 효율적으로 계산할 수 있도록 한다.
• 쌍대 형식에 기반한 선별 규칙(BT1 등)은 Wang 등이 쌍대 공간에서 유도한 것과 수학적으로 동치이며, 이는 본 방법의 타당성을 검증함과 동시에 적용 범위를 확장함을 의미한다.