[논문 리뷰] A MapReduce based distributed SVM algorithm for binary classification

Ferhat Özgür Çatak, M. Erdal Balaban|arXiv (Cornell University)|2013. 12. 15.

Machine Learning and Data Classification인용 수 2

한 줄 요약

이 논문은 클라우드 컴퓨팅 시스템에서 데이터셋을 노드 간에 분할하고 반복적으로 지지벡터를 수거 및 병합함으로써 분산 SVM 알고리즘을 제안한다. 이 알고리즘은 수기 숫자 데이터셋에서 최대 7.78배의 속도 향상을 달성하며, 5–10회 반복 이내에 근사 최적의 정확도에 수렴하여 Hadoop과 LibSVM를 사용한 대규모 데이터에서의 확장성과 안정성을 입증한다.

ABSTRACT

Although Support Vector Machine (SVM) algorithm has a high generalization property to classify for unseen examples after training phase and it has small loss value, the algorithm is not suitable for real-life classification and regression problems. SVMs cannot solve hundreds of thousands examples in training dataset. In previous studies on distributed machine learning algorithms, SVM is trained over a costly and preconfigured computer environment. In this research, we present a MapReduce based distributed parallel SVM training algorithm for binary classification problems. This work shows how to distribute optimization problem over cloud computing systems with MapReduce technique. In the second step of this work, we used statistical learning theory to find the predictive hypothesis that minimize our empirical risks from hypothesis spaces that created with reduce function of MapReduce. The results of this research are important for training of big datasets for SVM algorithm based classification problems. We provided that iterative training of split dataset with MapReduce technique; accuracy of the classifier function will converge to global optimal classifier function's accuracy in finite iteration size. The algorithm performance was measured on samples from letter recognition and pen-based recognition of handwritten digits dataset.

연구 동기 및 목표

• 고차원 커널 행렬 복잡도로 인해 단일 머신에서 대규모 SVM 학습이 계산적으로 불가능한 문제를 해결하기 위해.
• 클라우드 컴퓨팅과 MapReduce 패러다임을 활용하여 확장 가능한 분산 SVM 학습을 가능하게 하기 위해.
• 반복적인 지지벡터 병합을 통한 구조적 리스크 최소화를 활용하여 높은 일반화 성능를 유지하기 위해.
• 실제 데이터셋인 문자 및 숫자 인식과 같은 데이터에서 수렴성과 성능 향상을 입증하기 위해.

제안 방법

• Hadoop 기반 클라우드 환경에서 MapReduce를 사용하여 다수의 노드에 학습 데이터를 분산 배포하기 위해.
• 각 데이터 파티션에서 LibSVM를 사용하여 로컬 SVM 분류기 학습하고, 각 노드에서 지지벡터(SVs)를 추출하기 위해.
• Reduce 단계에서 각 노드의 로컬 지지벡터를 모두 병합하여 다음 반복을 위한 전역 지지벡터 집합을 생성하기 위해.
• 업데이트된 전역 지지벡터를 기반으로 반복적으로 재학습하여 수렴할 때까지 분류기를 정밀하게 조정하기 위해.
• 정확도와 허브 손실 안정성을 평가하기 위해 10겹 교차검증을 적용하기 위해.
• 단일 노드 기준 대비 MapReduce 학습 시간을 비교하여 속도 향상 측정하기 위해.

실험 결과

연구 질문

• RQ1 MapReduce 기반 분산 SVM이 대규모 이진 분류 데이터셋에서 상당한 속도 향상을 달성할 수 있는가?
• RQ2 노드 간 지지벡터를 반복적으로 병합함으로써 전역 최적 분류기로 수렴하는가?
• RQ3 분산 학습 과정에서 반복 수에 따라 지지벡터 수와 허브 손실은 어떻게 변화하는가?
• RQ4 데이터셋 크기와 노드 수의 영향은 학습 성능와 정확도에 어떤 영향을 미치는가?

주요 결과

• 제안된 알고리즘은 10개의 컴퓨팅 노드를 사용하여 문자 인식 데이터셋에서 최대 6.42배의 속도 향상을 달성했고, 펜 기반 숫자 인식 데이터셋에서는 최대 7.78배의 속도 향상을 기록했다.
• 허브 손실이 반복 수에 따라 크게 감소하여 제5회 반복에서 안정화되었으며, 이는 낮은 경험적 오차로 수렴하고 있음을 시사한다.
• 제10회 반복 이후 숫자 데이터셋의 지지벡터 수는 약 3,000개로, 문자 데이터셋의 경우 약 560개로 안정화되었다.
• 테스트 정확도는 제5회 반복에서 최고치에 도달하고 이후로도 안정을 유지하여 전역 최적에 수렴하고 있음을 확인했다.
• 알고리즘이 높은 일반화 성능를 유지하였으며, 문자 인식 데이터셋에서 제3회 반복 이후 평균 허브 손실이 0.00005로 감소하였다.
• 클라우드 노드에 걸쳐 커널 계산과 반복적 정밀 조정을 분산함으로써 이론적으로 대규모 데이터에서 SVM 학습의 확장성을 성공적으로 달성하였다.