[논문 리뷰] Fast SVM training using approximate extreme points

Manu Nandan, Pramod P. Khargonekar외 1명|arXiv (Cornell University)|2013. 04. 04.

Machine Learning and ELM참고 문헌 30인용 수 38

한 줄 요약

이 논문은 비선형 커널 SVM의 빠른 학습을 위한 AESVM을 제안한다. 이 방법은 커널 공간 내 극단점의 대표 집합을 선택하여 학습 시간을 단축시킨다. 이(compact) 집합 위에서 최적화를 수행함으로써 AESVM은 거의 SVM 수준의 정확도를 달성하면서도 학습 속도를 최대 1,000배 빠르게 하고, 분류 속도도 경쟁력 있게 유지한다. 이는 첨도 탐지 및 MNIST를 포함한 아홉 개의 데이터셋에서 검증되었다.

ABSTRACT

Applications of non-linear kernel Support Vector Machines (SVMs) to large datasets is seriously hampered by its excessive training time. We propose a modification, called the approximate extreme points support vector machine (AESVM), that is aimed at overcoming this burden. Our approach relies on conducting the SVM optimization over a carefully selected subset, called the representative set, of the training dataset. We present analytical results that indicate the similarity of AESVM and SVM solutions. A linear time algorithm based on convex hulls and extreme points is used to compute the representative set in kernel space. Extensive computational experiments on nine datasets compared AESVM to LIBSVM \citep{LIBSVM}, CVM \citep{Tsang05}, BVM \citep{Tsang07}, LASVM \citep{Bordes05}, $ ext{SVM}^{ ext{perf}}$ \citep{Joachims09}, and the random features method \citep{rahimi07}. Our AESVM implementation was found to train much faster than the other methods, while its classification accuracy was similar to that of LIBSVM in all cases. In particular, for a seizure detection dataset, AESVM training was almost $10^3$ times faster than LIBSVM and LASVM and more than forty times faster than CVM and BVM. Additionally, AESVM also gave competitively fast classification times.

연구 동기 및 목표

• 대규모 데이터셋에서 비선형 커널 SVM의 높은 학습 시간 문제를 해결하여 실용적 사용을 가능하게 하기 위해.
• 분류 정확도를 유지하면서 지지벡터와 학습 데이터 포인트의 수를 줄이기 위해.
• 해결 품질을 유지하면서 계산 비용을 극적으로 감소시키는 빠르고 확장 가능한 SVM 학습 방법을 개발하기 위해.
• 반복적인 전체 학습 실행을 줄임으로써 그리드 서치를 통한 효율적인 하이퍼파ram터 튜닝을 가능하게 하기 위해.
• 기존의 빠른 SVM 방법들에 대한 이론적으로 탄탄하고 실험적으로 검증된 대안을 제공하기 위해.

제안 방법

• 커널 공간 내에서 볼록껍질과 극단점 식별을 이용해 훈련 데이터로부터 대표 집합(RS)을 구성하기 위해.
• O(N) 복잡도를 가지는 선형 시간 알고리즘(DeriveRS)을 적용하여 대표 집합을 계산하거나, 더 큰 데이터셋을 위해 O(N log₂(N/P)) 변형을 사용하기 위해.
• 대표 집합 위에서만 목적 함수를 최소화하는 수정된 SVM 최적화(AESVM)를 제안하여 변수 수를 줄이기 위해.
• 대표 집합 내 데이터 포인트의 분포로부터 유도된 계수 βt를 사용한 가중 허브 손실 항을 사용하기 위해.
• 이론적 분석을 통해 AESVM 목적 함수가 전체 SVM 목적 함수의 상한 근사값으로 제한됨을 보여주며, 해의 유사성을 보장하기 위해.
• 커널 공간 내 극단점이 필수적인 마진 구조를 반영하므로, 작은 부분집합으로도 전체 해를 근사할 수 있음을 활용하기 위해.

실험 결과

연구 질문

• RQ1 커널 공간 내 작은 대표 집합인 극단점들을 사용하여 전체 데이터셋과 거의 동일한 정확도를 달성하는 SVM을 학습시킬 수 있는가?
• RQ2 대규모 데이터셋에서 AESVM의 학습 시간은 LIBSVM, CVM, BVM, LASVM, SVMperf와 같은 최첨단 빠른 SVM 방법들과 비교해 어떻게 되는가?
• RQ3 데이터셋의 차원 수와 분포는 대표 집합의 크기와 그에 따른 속도 향상에 어떤 영향을 미치는가?
• RQ4 적은 지지벡터를 사용함에도 불구하고 AESVM은 경쟁력 있는 분류 추론 시간을 유지하는가?
• RQ5 AESVM과 전체 SVM 간의 목적 함수 차이에 대한 이론적 경계가 다양한 데이터셋에서 실험적으로 검증될 수 있는가?

주요 결과

• seizure detection 데이터셋에서 AESVM은 LIBSVM과 LASVM에 비해 최대 1,000배 빠른 학습 속도를 기록했으며, 유사한 분류 정확도를 달성했다.
• MNIST 데이터셋에서는 CVM과 BVM에 비해 40배 이상 빠른 학습 속도를 기록했지만, 높은 차원성으로 인해 대표 집합 크기가 훈련 데이터의 약 100%에 가까워졌다.
• 테스트한 아홉 개의 모든 데이터셋에서 AESVM은 가장 낮은 근사 오차(RMSE)와 가장 높은 학습 시간 속도 향상(OTS)을 기록했다.
• 분류 시간은 경쟁력 있는 빠른 속도를 기록했으며, 전체 분류 시간 속도 향상(OCS)은 SVMperf에 이어 두 번째로 높았다.
• 모든 방법 중에서 최대 분류 정확도는 거의 동일했으며, RfeatSVM와 가끔 CVM, BVM만이 낮은 성능를 보였다.
• DeriveRS 알고리즘은 저차원 데이터셋(D1–D5)에서는 효율적이었지만, 고차원 설정(D6–D9)에서는 대표 집합 크기가 커져 성능 향상이 감소했다.