[논문 리뷰] Fast Support Vector Machines Using Parallel Adaptive Shrinking on Distributed Systems

Jeyanthi Narasimhan, Abhinav Vishnu외 2명|arXiv (Cornell University)|2014. 06. 19.

Neural Networks and Applications참고 문헌 21인용 수 5

한 줄 요약

이 논문은 수렴 속도를 향상시키기 위해 동적으로 기여하지 않는 샘플을 제거하는 적응형 수축을 사용하는 병렬 분산 SVM 학습 알고리즘을 제안한다. 희소 데이터 표현, MPI/GA 기반 병렬성, 그리고 조기 샘플 제거 히우리스틱을 조합함으로써, 순차적 libsvm 대비 최대 26배의 속도 향상을 달성하고, 대규모 데이터셋에서 병렬 기준 대비 30–60% 향상을 이룬다.

ABSTRACT

Support Vector Machines (SVM), a popular machine learning technique, has been applied to a wide range of domains such as science, finance, and social networks for supervised learning. Whether it is identifying high-risk patients by health-care professionals, or potential high-school students to enroll in college by school districts, SVMs can play a major role for social good. This paper undertakes the challenge of designing a scalable parallel SVM training algorithm for large scale systems, which includes commodity multi-core machines, tightly connected supercomputers and cloud computing systems. Intuitive techniques for improving the time-space complexity including adaptive elimination of samples for faster convergence and sparse format representation are proposed. Under sample elimination, several heuristics for {\em earliest possible} to {\em lazy} elimination of non-contributing samples are proposed. In several cases, where an early sample elimination might result in a false positive, low overhead mechanisms for reconstruction of key data structures are proposed. The algorithm and heuristics are implemented and evaluated on various publicly available datasets. Empirical evaluation shows up to 26x speed improvement on some datasets against the sequential baseline, when evaluated on multiple compute nodes, and an improvement in execution time up to 30-60\% is readily observed on a number of other datasets against our parallel baseline.

연구 동기 및 목표

• 멀티코어, 슈퍼컴퓨터, 클라우드 환경를 포함한 대규모 시스템에서 기존 병렬 SVM 알고리즘의 확장성 한계를 해결한다.
• 학습 전반에 걸쳐 전체 데이터셋을 사용하는 데서 비효율성을 해결하기 위해, 적응형 수축을 통해 조기에 기여하지 않는 샘플을 제거한다.
• 희소 데이터 표현과 커널 캐싱 제거를 통해 공간 및 시간 복잡도를 감소시킨다.
• MPI 및 글로벌 어레이를 사용하여 통신 효율적인 확장 가능한 구현을 설계하여 고성능 분산 실행을 구현한다.
• 다양한 실세계 데이터셋에서 제안된 알고리즘을 평가하여 순차적 및 병렬 기준 대비 뚜렷한 성능 향상을 입증한다.

제안 방법

• 학습 반복 동안 비지원벡터를 동적으로 제거하기 위해 공격적, 평균, 보수적 세 가지 적응형 수축 히우리스틱을 적용한다.
• 샘플을 표현하기 위해 희소 데이터 구조를 사용하여 대규모 데이터셋에서 메모리 사용량을 최소화하고 캐시 효율성을 향상시킨다.
• MPI 및 글로벌 어레이를 사용하여 노드 간 통신 및 분산 데이터 관리를 효율적으로 구현한다.
• 조기 제거 시 오류 긍정의 위험을 줄이기 위해 가벼운 재구성 메커니즘을 도입한다.
• 워킹 세트 선택을 활용한 이중 좌표 강하 프레임워크를 적용하고, 수축의 이론적 기반을 활용해 수렴 속도를 향상시킨다.
• 커널 캐싱 저장을 피하고, GPU 및 미래 가속기와 같은 이종 아키텍처에서도 사용이 가능하도록 현대 아키텍처에 최적화한다.

실험 결과

연구 질문

• RQ1 분산 환경에서의 적응형 수축이 솔루션 품질에 영향을 주지 않으면서도 SVM 학습 시간을 크게 단축시킬 수 있는가?
• RQ2 공격적, 평균, 보수적 세 가지 수축 히우리스틱이 다양한 데이터셋에서 수렴 속도와 확장성에 어떤 영향을 미치는가?
• RQ3 희소 데이터 표현과 커널 캐싱 제거가 대규모 메모리 제약이 있는 시스템에서 성능 향상에 얼마나 기여하는가?
• RQ4 기존 기준 대비 다중 코어 시스템, 고밀도 연결 슈퍼컴퓨터, 클라우드 기반 클러스터에서 제안된 병렬 알고리즘이 어떻게 확장되는가?
• RQ5 MPI/GA 기반 분산 컴퓨팅 모델과 동적 샘플 제거의 조합이 실세계 데이터셋에서 뛰어난 성능을 달성할 수 있는가?

주요 결과

• 제안된 알고리즘은 여러 계산 노드에서 학습할 경우 순차적 libsvm 기준 최대 26배의 속도 향상을 달성한다.
• 일부 데이터셋에서는 수축이 없는 병렬 기준 대비 실행 시간을 30–60% 향상시킨다.
• USPS 및 Mushrooms 데이터셋은 순차 기준 대비 5배에서 8배의 속도 향상을 보이며 중규모 데이터에서 뛰어난 확장성을 입증한다.
• 희소 데이터 표현과 커널 캐싱 제거의 활용은 대규모 데이터셋에서 메모리 압박을 크게 줄이고 성능을 향상시킨다.
• 특히 보수적 및 평균 수축 히우리스틱은 다양한 데이터 분포에서 정확도를 유지하면서도 수렴 속도를 가속화한다.
• MPI 및 글로벌 어레이를 사용한 구현은 다중 코어 시스템과 대규모 슈퍼컴퓨터 모두에서 효과적으로 확장되며, 이종 아키텍처에서의 이식성과 성능을 확인한다.