[논문 리뷰] Compressed Support Vector Machines

Zhixiang Xu, Jacob R. Gardner외 2명|arXiv (Cornell University)|2015. 01. 26.

Face and Expression Recognition참고 문헌 13인용 수 7

한 줄 요약

이 논문은 압축된 서포트 벡터 기반 기계(CVM)를 제안한다. CVM은 기존의 결정 경계를 근사하기 위해 연속 공간 내에서 최적화된 인공 서포트 벡터를 학습함으로써 SVM의 테스트 시간 비용을 줄이는 후처리 방법이다. 이 방법은 몇 개의 순서 수준 빠른 추론을 달성하면서도 전체 모델의 정확도에 근접한 성능을 보이며, 기존의 Reduced-SVM 및 LARS-SVM과 비교해 정확도 대비 복잡도의 균형에서 뛰어난 성능을 발휘한다.

ABSTRACT

Support vector machines (SVM) can classify data sets along highly non-linear decision boundaries because of the kernel-trick. This expressiveness comes at a price: During test-time, the SVM classifier needs to compute the kernel inner-product between a test sample and all support vectors. With large training data sets, the time required for this computation can be substantial. In this paper, we introduce a post-processing algorithm, which compresses the learned SVM model by reducing and optimizing support vectors. We evaluate our algorithm on several medium-scaled real-world data sets, demonstrating that it maintains high test accuracy while reducing the test-time evaluation cost by several orders of magnitude---in some cases from hours to seconds. It is fair to say that most of the work in this paper was previously been invented by Burges and Schölkopf almost 20 years ago. For most of the time during which we conducted this research, we were unaware of this prior work. However, in the past two decades, computing power has increased drastically, and we can therefore provide empirical insights that were not possible in their original paper.

연구 동기 및 목표

• 커널 SVM의 테스트 시간 계산 비용을 줄이기 위해, 서포트 벡터의 수에 따라 선형적으로 증가하는 비용을 감소시키는 것.
• 추론 시 사용하는 서포트 벡터의 수를 극적으로 줄이면서도 높은 분류 정확도를 유지하는 것.
• 훈련 데이터에서 선택하는 대신 연속 공간 내에서 인공 서포트 벡터를 학습하는 후처리 압축 기법을 개발하는 것.
• 실세계 데이터셋에서 기존의 방법들인 Reduced-SVM 및 LARS-SVM과 비교해 정확도 및 효율성의 균형에서 뛰어난 성능을 내는 것.
• 현대적인 계산 자원을 활용해 이전에 이론적으로만 제안된 접근 방식(Burges와 Schölkopf, 1999)을 경험적으로 검증하는 것.

제안 방법

• 기존에 훈련된 전체 SVM 모델을 기반으로 하며, LARS-SVM를 사용해 원래 서포트 벡터 집합에서 초기 서포트 벡터 부분집합을 선택한다.
• 기본적으로 결정 경계의 기반을 형성하는 연속 공간 내의 기저를 최적화하기 위해 서포트 벡터의 위치와 그에 대응하는 이중 변수(라그랑주 승수)에 대해 경사 하강법을 수행한다.
• 최적화 목표 함수(식 10)는 압축 모델의 결정 함수와 원래 SVM의 결정 함수 간의 차이를 최소화하는 것을 목표로 한다.
• 최종적으로 생성된 압축 모델은 더 적은 수의 학습된 서포트 벡터를 가진 표준 SVM이며, LibSVM 호환 형식으로 저장할 수 있다.
• 이 방법은 두 단계로 구성된다: LARS를 통한 초기 부분집합 선택, 그 다음에 서포트 벡터 위치의 연속 최적화.
• 일对일, 일대다, 또는 DAG 기반의 방법을 사용해 다중 클래스 문제로의 확장을 수행한다.

실험 결과

연구 질문

• RQ1 작은 수의 학습된 연속 공간 내 서포트 벡터로 전체 SVM의 결정 경계를 최소한의 정확도 손실로 근사할 수 있는가?
• RQ2 CVM의 성능은 Reduced-SVM 및 LARS-SVM과 같은 기존의 압축 방법과 비교해 정확도와 추론 비용 측면에서 어떻게 다른가?
• RQ3 테스트 시간 평가 비용은 얼마나 줄일 수 있으며, 높은 분류 정확도를 유지할 수 있는가?
• RQ4 훈련 데이터에서 이산적으로 선택하는 것보다 연속 공간 내에서 서포트 벡터 위치를 최적화하는 후처리 압축 기법이 더 나은 근사 성능을 낼 수 있는가?
• RQ5 Compressed Vector Machines(Burges & Schölkopf, 1999)의 이론적 프레임워크는 현대적인 계산 능력을 활용해 경험적으로 검증되고 향상시킬 수 있는가?

주요 결과

• 모든 평가된 데이터셋에서 원래 서포트 벡터 수의 10% 미만으로도 CVM은 전체 SVM 모델의 정확도와 1% 이내로 유지된다.
• MNIST 데이터셋에서는 단지 10개의 서포트 벡터로도 CVM이 95% 이상의 정확도를 유지하며, 테스트 시간 비용을 수개의 순서 수준으로 줄였다.
• 같은 수의 서포트 벡터를 사용할 때 CVM은 Reduced-SVM 및 LARS-SVM보다 정확도에서 뛰어나며, 특히 압축 비율이 낮을 경우 두드러진 성능 향상을 보였다.
• 연속 공간 내에서 서포트 벡터 위치를 경사 기반으로 최적화하는 방식은 훈련 데이터에서 이산적으로 선택하는 것보다 근사 정확도 향상에 크게 기여한다.
• 20news 및 MNIST와 같은 대규모 데이터셋에서는 CVM이 추론 시간을 수시간에서 수초 수준으로 단축시키면서도 높은 정확도를 유지했다.
• 이 방법은 이미지, 텍스트, 표 형식 데이터 등 다양한 데이터 유형에 대해 뛰어난 강건성을 보이며, 일관된 성능 향상을 보였다.