[논문 리뷰] A Class of Parallel Decomposition Algorithms for SVMs Training

Andrea Manno, Laura Palagi외 1명|arXiv (Cornell University)|2015. 09. 17.

Machine Learning and Algorithms참고 문헌 22인용 수 4

한 줄 요약

이 논문은 대규모 데이터셋에서 서포트 벡터 머신(SVMs)을 훈련하기 위한 병렬 분해 알고리즘의 클래스를 제안하며, 여러 프로세서를 통해 독립적인 부분문제 해결을 활용한다. 현실적인 가정 하에 전역 수렴성을 증명하고, PARSMO-1과 PARSMO-2라는 두 가지 효율적인 구현을 도입하여 반복마다 다수의 SMO 스타일 업데이트를 가능하게 하면서도 커널 평가 횟수를 최소화한다. PARSMO-2는 심지어 단일 코어 시스템에서도 가속 성능을 달성한다.

ABSTRACT

The training of Support Vector Machines may be a very difficult task when dealing with very large datasets. The memory requirement and the time consumption of the SVMs algorithms grow rapidly with the increase of the data. To overcome these drawbacks, we propose a parallel decomposition algorithmic scheme for SVMs training for which we prove global convergence under suitable conditions. We outline how these assumptions can be satisfied in practice and we suggest various specific implementations exploiting the adaptable structure of the algorithmic model.

연구 동기 및 목표

• 헤시안 행렬 Q를 저장하고 조작하기에 부적합해지는 매우 큰 데이터셋에서 SVM 훈련의 계산 및 메모리 도전 과제를 해결한다.
• 여러 프로세서를 통해 독립적인 부분문제 해결이 가능한 병렬 분해 프레임워크를 개발하여 훈련 시간을 단축시킨다.
• 실용적이고 검증 가능한 가정 하에 제안된 알고리즘 체계의 전역 수렴성을 확보한다.
• 수렴성과 확장성을 유지하면서 비용이 많이 드는 커널 평가를 최소화하는 효율적인 구현을 설계한다.
• 표준 벤치마크 데이터셋을 활용한 실험적 평가를 통해 접근 방식의 실용적 효과를 입증한다.

제안 방법

• 대칭 정반정형 양성 행렬 Q를 사용하는 상자 제약과 등식 제약 조건을 갖는 이차계획문제로 SVM 이중 문제를 수식화한다.
• 변수 집합을 워킹 세트로 분할하여 전체 문제를 더 작은 부분문제로 분해하고, 여러 프로세서에서 병렬로 해결한다.
• 각 부분문제가 오직 두 개의 변수(2D QP)만 포함하는 일반화된 SMO 스타일 업데이트 전략을 사용하여 해석적 해를 도출하고 계산 오버헤드를 감소시킨다.
• 동시에 다수의 SMO 방향이 업데이트될 경우 수렴성을 안정화하기 위해 '수집' 단계 길이 α^k을 도입한다.
• 두 가지 변형을 구현한다: PARSMO-1은 각 반복마다 최대 q개의 커널 평가를 포함해 q개의 동시 SMO 최적화를 수행한다. 반면 PARSMO-2는 캐시된 커널 열을 재사용하여 재계산을 방지한다.
• SVMlight에서처럼 표준 캐싱 전략을 적용하여 자주 액세스되는 커널 열을 저장함으로써 I/O 및 커널 평가 비용을 감소시킨다.

실험 결과

연구 질문

• RQ1 대규모 데이터셋을 효율적으로 처리하면서도 전역 수렴성을 확보할 수 있는 SVM 훈련을 위한 병렬 분해 알고리즘이 가능한가?
• RQ2 수렴성이나 커널 평가 비용을 증가시키지 않고 병렬 프로세서 간에 다수의 SMO 스타일 업데이트를 어떻게 조율할 수 있는가?
• RQ3 병렬 SVM 훈련에서 수렴 속도, 커널 평가 오버헤드, 구현 복잡도 사이의 실용적 트레이드오프는 무엇인가?
• RQ4 캐시된 커널 열을 재사용함으로써 병렬 알고리즘이 단일 CPU에서 수치적 안정성과 성능을 유지할 수 있는가?
• RQ5 다중 SMO 방향은 순차적 MVP 방법에 비해 수렴 속도를 얼마나 가속화하는가?

주요 결과

• 제안된 병렬 분해 알고리즘은 현실적이고 검증 가능한 가정 하에 최적 해로의 전역 수렴성을 달성하며, 이론적 보장을 병렬 환경으로 확장한다.
• PARSMO-1은 반복 횟수와 프로세스당 커널 평가 수에서 더 빠른 수렴을 보이며, 프로세스 수 q가 증가할수록 상대 오차 감소 폭이 더 급격해진다.
• PARSMO-2는 캐시된 커널 열을 재사용함으로써 반복적인 커널 평가를 방지하고 해석적 업데이트를 신속하게 수행함으로써 단일 실행 환경에서도 상당한 가속 성능을 달성한다.
• 수집 단계 길이 α^k의 사용은 수치적 안정성에 매우 중요하다. 이를 제거할 경우 다중 프로세스 환경에서 진동과 발산 현상이 발생한다.
• a9a, real-sim, rcv1 등 여섯 가지 표준 벤치마크 데이터셋에서의 실험 결과, PARSMO-1과 PARSMO-2 모두 전통적인 MVP 알고리즘보다 수렴 속도와 효율성 면에서 뛰어난 성능을 보였다.
• PARSMO-2는 수렴 가능한 병렬 아키텍처와 경량의 캐시 인식 순차 업데이트를 결합함으로써 표준 MVP보다 더 뛰어난 CPU 시간 효율성을 달성했다.