[논문 리뷰] A Divide-and-Conquer Solver for Kernel Support Vector Machines

Cho‐Jui Hsieh, Si Si외 1명|arXiv (Cornell University)|2013. 11. 04.

Machine Learning and ELM참고 문헌 28인용 수 131

한 줄 요약

이 논문은 커널 k-means 군집화를 통해 대규모 데이터셋을 분할하여 더 작은 하위 문제를 독립적으로 풀 수 있는 divide-and-conquer 솔버인 DC-SVM을 제안한다. 이 방법은 하위 문제의 해를 전역 좌표 강하법의 고품질 초기화로 활용하여, LIBSVM 대비 최대 100배 빠른 훈련 속도를 달성하면서도 높은 정확도를 유지한다. 정확한 해를 구하는 데에는 7배 빠르고, covtype 데이터셋에서 조기 예측을 사용할 경우 100배 빠른 성능을 기록한다.

ABSTRACT

The kernel support vector machine (SVM) is one of the most widely used classification methods; however, the amount of computation required becomes the bottleneck when facing millions of samples. In this paper, we propose and analyze a novel divide-and-conquer solver for kernel SVMs (DC-SVM). In the division step, we partition the kernel SVM problem into smaller subproblems by clustering the data, so that each subproblem can be solved independently and efficiently. We show theoretically that the support vectors identified by the subproblem solution are likely to be support vectors of the entire kernel SVM problem, provided that the problem is partitioned appropriately by kernel clustering. In the conquer step, the local solutions from the subproblems are used to initialize a global coordinate descent solver, which converges quickly as suggested by our analysis. By extending this idea, we develop a multilevel Divide-and-Conquer SVM algorithm with adaptive clustering and early prediction strategy, which outperforms state-of-the-art methods in terms of training speed, testing accuracy, and memory usage. As an example, on the covtype dataset with half-a-million samples, DC-SVM is 7 times faster than LIBSVM in obtaining the exact SVM solution (to within $10^{-6}$ relative error) which achieves 96.15% prediction accuracy. Moreover, with our proposed early prediction strategy, DC-SVM achieves about 96% accuracy in only 12 minutes, which is more than 100 times faster than LIBSVM.

연구 동기 및 목표

• 수백만 개의 샘플을 포함한 대규모 데이터셋에서 커널 SVM의 확장성 문제를 해결하기 위해.
• 기존 SVM 솔버에서 발생하는 조밀한 커널 행렬 계산과 관련된 계산 및 메모리 비용을 줄이기 위해.
• 근사 솔버에서 흔히 볼 수 있는 성능과 정확도의 상충 관계를 피하면서도 효율성과 높은 예측 정확도를 동시에 확보하는 방법을 개발하기 위해.
• 하위 문제의 해를 활용한 조기 예측 전략을 통해 신속하고 정확한 추론을 가능하게 하기 위해.
• 적절한 커널 군집화 조건 하에서 하위 문제의 서포트 벡터가 전역 서포트 벡터일 가능성이 높다는 것을 이론적으로 입증하기 위해.

제안 방법

• 계산 비용을 줄이기 위해 두 단계의 커널 k-means 절차를 사용하여 데이터셋을 더 작은 하위 문제로 분할한다.
• 각 하위 문제는 표준 SVM 최적화를 통해 독립적으로 풀리며, 국지적 해가 생성된다.
• 국지적 해들이 결합되어 전역 좌표 강하법의 초기 점을 형성하며, 전역 최적해에 가까워서 수렴 속도가 매우 빠르다.
• 다중 수준 확장은 동적으로 파artitions를 정밀화하고, 적응형 군집화 및 조기 정지 전략을 통합한다.
• 조기 예측 전략은 전체 모델의 완전한 수렴을 건너뛰기 위해 하위 문제의 해를 빠르고 정확한 대체 모델로 활용한다.
• 이론적 분석을 통해 커널 k-mens 군집화가 하위 문제 해와 전역 해의 차이를 최소화함으로써 이 방법의 타당성을 입증한다.

실험 결과

연구 질문

• RQ1 군집화 기반 하위 문제 분해가 전역 SVM 최적해에 가까운 초기 해를 생성할 수 있는가?
• RQ2 하위 문제의 해를 초기화로 사용할 경우 전역 좌표 강하법의 수렴 속도가 크게 향상되는가?
• RQ3 하위 문제 출력을 기반으로 한 조기 예측 전략이 최신 기술 대비 더 빠르게 높은 테스트 정확도를 달성할 수 있는가?
• RQ4 RBF 및 다항식 커널을 포함한 다양한 커널 유형에서 하이퍼파rameter가 변화할 때 DC-SVM의 성능은 어떻게 되는가?
• RQ5 DC-SVM의 성능 이점이 다양한 데이터셋과 커널 파라미터 설정에 걸쳐 뚜렷한가?

주요 결과

• covtype 데이터셋(50만 개 샘플)에서 DC-SVM는 정확한 SVM 해를 LIBSVM 대비 7배 빠르게 도달했으며, 테스트 정확도는 96.15%였다.
• 조기 예측을 사용할 경우 DC-SVM는 12분 만에 96.03%의 정확도를 달성했는데, 이는 LIBSVM가 10시간이 넘도록 도달하지 못한 성능이었다. 즉, 100배 이상의 빠른 속도를 기록했다.
• C와 γ의 100개 파라미터 설정 중 96개에서 DC-SVM는 LIBSVM보다 빠르게 동작했으며, γ가 작아져 하위 문제의 해가 덜 정확한 경우에도 마찬가지였다.
• 다항식 커널의 경우, DC-SVM는 LIBSVM 및 LaSVM 대비 100배 이상 빠르게 동작했으며, 이는 더 나은 서포트 벡터 식별 능력 덕분이었다.
• 모든 수준에서 군집화 시간은 거의 일정했으며(36–43초), 반면 훈련 시간은 깊이가 증가함에 따라 증가하여 군집화 단계의 확장성은 입증되었다.
• ijcnn1, webspam, covtype, census 데이터셋 전반에서 DC-SVM(조기)는 런타임과 정확도 면에서 일관되게 LIBSVM를 능가하며 뛰어난 성능을 보였다.