[논문 리뷰] Fast Parallel SVM using Data Augmentation

Hugh Perkins, Minjie Xu외 2명|arXiv (Cornell University)|2015. 12. 24.

Machine Learning and Algorithms참고 문헌 17인용 수 3

한 줄 요약

이 논문은 데이터 증강 형식을 기반으로 한 새로운 병렬 SVM 알고리즘을 제안하며, 선형 SVM 학습을 베이지안 추론 문제로 재구성함으로써 고도로 스케일러블한 몬테카를로 샘플링을 가능하게 한다. 이 방법은 480개 코어에서 최대 7.6배 빠른 훈련 속도를 달성하며, 대규모 데이터셋에서도 효과적으로 스케일링되며, liblinear 및 SVMMulticlass와 같은 단일 스레드 솔버를 능가한다. 특히 MNIST8M와 같은 거대한 데이터셋에서 성능이 뛰어나다.

ABSTRACT

As one of the most popular classifiers, linear SVMs still have challenges in dealing with very large-scale problems, even though linear or sub-linear algorithms have been developed recently on single machines. Parallel computing methods have been developed for learning large-scale SVMs. However, existing methods rely on solving local sub-optimization problems. In this paper, we develop a novel parallel algorithm for learning large-scale linear SVM. Our approach is based on a data augmentation equivalent formulation, which casts the problem of learning SVM as a Bayesian inference problem, for which we can develop very efficient parallel sampling methods. We provide empirical results for this parallel sampling SVM, and provide extensions for SVR, non-linear kernels, and provide a parallel implementation of the Crammer and Singer model. This approach is very promising in its own right, and further is a very useful technique to parallelize a broader family of general maximum-margin models.

연구 동기 및 목표

• 현대의 다코어 및 분산 하드웨어에서 대규모 선형 SVM를 효율적으로 훈련하는 데 도전하는 문제를 해결한다.
• 삼차 시간 복잡도와 낮은 병렬 스케일링 성능으로 인해 문제가 되는 전통적 분해 방법의 한계를 극복한다.
• 베이지안 추론과 데이터 증강을 활용해 효율적인 병렬 샘플링을 가능하게 하는 확장 가능한 분산 알고리즘을 개발한다.
• 비선형 커널, 서포트 벡터 회귀(SVR), Crammer와 Singer의 다중 클래스 모델을 지원하기 위해 프레임워크를 확장한다.
• CPU 클러스터와 GPU 가속을 활용해 실제 대규모 데이터셋에서 실용적인 성능 향상을 입증한다.

제안 방법

• 잠재 스케일 변수를 갖는 계층적 베이지안 모델로 선형 SVM 최적화 문제를 재구성하여 확률적 추론을 가능하게 한다.
• 마르코프 체인 몬테카를로(MCMC) 샘플링을 사용해 SVM 파라미터의 사후 분포를 근사하며, 자연스럽게 병렬 처리가 가능하다.
• MPI를 사용해 수백 개의 CPU 코어에 걸쳐 분산 샘플링을 구현하며, I/O와 계산을 병렬화한다.
• 공분산 행렬 $\Sigma = \sum_d \frac{1}{\gamma_d} \mathbf{x}_d \mathbf{x}_d^T$ 계산의 계산 부담을 줄이기 위해 GPU 커널을 활용한다.
• 동일한 베이지안 샘플링 프레임워크를 비선형 커널의 커널 근사, SVR, Crammer와 Singer의 다중 클래스 모델로 확장한다.
• 고차원 공간에서 MCMC 목표 함수의 수렴성과 안정성을 향상하기 위해 버닝 인 기간과 샘플 평균을 사용한다.

실험 결과

연구 질문

• RQ1 SVM 학습의 베이지안 재구성은 거대 클러스터에서 효율적이고 확장 가능한 병렬 처리를 가능하게 할 수 있는가?
• RQ2 제안된 샘플링 기반 SVM의 성능은 매우 큰 데이터셋에서 liblinear 및 SVMMulticlass와 같은 최신 단일 스레드 솔버보다 어떻게 비교되는가?
• RQ3 GPU 가속은 샘플링 알고리즘의 핵심 행렬 계산 단계에서 성능을 얼마나 향상시킬 수 있는가?
• RQ4 목표 함수와 테스트 정확도 측면에서 MCMC 샘플링의 수렴 행동은 EM 기반 방법과 어떻게 비교되는가?
• RQ5 제안된 프레임워크는 확장성이나 정확도를 희생시키지 않고 비선형 커널, SVR, 다중 클래스 SVM로 확장될 수 있는가?

주요 결과

• MNIST8M 데이터셋에서 48개 코어에서 480개 코어로 확장할 때, 병렬 샘플링 SVM는 7.6배의 속도 향상을 기록하며 강력한 선형 스케일링을 보였다.
• 전체 MNIST8m 데이터셋에서 유일하게 제안된 솔버와 liblinear만 훈련을 완료했으며, SVMMulticlass는 메모리 과부하(24GB RAM + 30GB 스왑)로 인해 종료되었다.
• 512개 GPU 코어를 사용할 경우, $\Sigma$ 행렬 계산은 단일 CPU 코어 대비 23배 빠르게 되었으며, 2048개 GPU 코어에서는 50배의 속도 향상을 달성했다.
• LIN-*-CLS 모델에서 MCMC 기반 방법은 목표 함수 수렴이 느리지만, 100회 반복 후 EM보다 높은 테스트 정확도를 확보했다.
• GPU 가속을 통한 LIN-EM-CLS 솔버는 단일 CPU 코어에서 30.4초였던 학습 시간을 2048개 GPU 코어로 줄여 6.1초로 단축하여 13배의 속도 향상을 달성했지만, 데이터 로딩이 여전히 병목이 되었다.
• 이 방법은 500코어로도 성공적으로 확장되었으며, 단일 머신의 메모리에 담을 수 없을 정도로 큰 데이터셋을 클러스터의 분산 메모리 기반으로 처리할 수 있었다.