[논문 리뷰] Algebraic multigrid support vector machines

Ehsan Sadrfaridpour, Sandeep Jeereddy외 4명|arXiv (Cornell University)|2016. 11. 16.

Tensor decomposition and applications참고 문헌 18인용 수 6

한 줄 요약

이 논문은 대규모 및 불균형 데이터셋에서 가중 지원벡터기반분류기(WSVM)의 학습을 가속화하기 위해 대수적 멀티그리드(AMG) 기반의 다수준 프레임워크를 제안한다. 데이터 계층을 굴곡시켜, 굴곡된 수준에서의 지지벡터와 모델 파라미터를 상속하고 국소적으로 정밀화함으로써, 분류 품질을 훼손하지 않고도 빠른 속도 향상을 달성한다. 특히 산업적이고 불균형적인 데이터셋에서 매우 효과적이다.

ABSTRACT

The support vector machine is a flexible optimization-based technique widely used for classification problems. In practice, its training part becomes computationally expensive on large-scale data sets because of such reasons as the complexity and number of iterations in parameter fitting methods, underlying optimization solvers, and nonlinearity of kernels. We introduce a fast multilevel framework for solving support vector machine models that is inspired by the algebraic multigrid. Significant improvement in the running has been achieved without any loss in the quality. The proposed technique is highly beneficial on imbalanced sets. We demonstrate computational results on publicly available and industrial data sets.

연구 동기 및 목표

• 표준 솔버인 LibSVM가 비현실적이게 되는 대규모 및 불균형 데이터셋에서 SVM 학습의 높은 계산 비용을 해결하기 위해.
• 불균형 데이터에 특히 효과적으로, 분류 품질을 저하시키지 않고 WSVM의 학습 효율을 향상시키기 위해.
• 대수적 멀티그리드(AMG)에서 영감을 얻은 다수준 최적화 프레임워크를 개발하여, 굴곡, 파라미터 상속, 국소 정밀화를 가능하게 하기 위해.
• 전체 스케일 학습이 비현실적인 대규모 데이터에서 커널 기반 SVM의 실용적 구현을 가능하게 하기 위해.
• 보간 순서와 AMG 굴곡 품질이 분류기 성능과 학습 시간에 미치는 영향을 탐구하기 위해.

제안 방법

• AMG 굴곡 기법을 사용하여 원래의 SVM 문제에 대해 점점 더 굴곡된 근사치의 계층을 구성함으로써, 각 수준에서 자유도를 감소시킨다.
• 각 굴곡된 수준에서 국소 최적화를 통해 SVM을 풀고, 그 결과로 유도된 지지벡터와 모델 파라미터를 더 미세한 수준에서 정밀화하기 위해 상속한다.
• 굴곡 해제 과정에서, 유도된 지지벡터와 그 이웃 영역에서 재학습함으로써 해를 정밀화하고 정확도를 점진적으로 향상시킨다.
• 다양한 굴곡 수준에서 외부 솔버(예: LibSVM)를 통합하여 정밀화 도구로 사용함으로써, 융통성과 확장성을 확보한다.
• 굴곡을 안내하기 위해 k-NN 그래프를 통한 스펙트럼 근사치를 사용하여 기하학적 정확도와 분류 품질을 향상시킨다. 단순 집계보다 우수한 성능을 기록한다.
• AMG 연장 연산자의 보간 순서를 조정하여 정확도와 성능 사이의 균형을 맞추며, 높은 순서일수록 정확도는 향상되지만 시간 소모가 증가한다.

실험 결과

연구 질문

• RQ1 AMG 기반의 다수준 프레임워크는 대규모 WSVM의 학습 시간을 크게 단축시킬 수 있는가? 이는 분류 품질을 훼손하지 않고서도 가능할까?
• RQ2 굴곡된 수준에서 유도된 지지벡터와 모델 파라미터를 상속할 경우, 불균형 데이터에서 최종 분류기의 정확도와 강건성에 어떤 영향을 미치는가?
• RQ3 고차수 AMG 보간을 통해 데이터의 기하학적 근사치를 향상시키면, 실제 세계 데이터셋에서 WSVM의 성능이 향상되는가?
• RQ4 이러한 다수준 프레임워크는 전체 스케일 SVM 학습이 비현실적인 산업용 데이터셋에 얼마나 잘 확장될 수 있는가?
• RQ5 이러한 방법은 불균형 및 대규모 데이터셋에서 표준 솔버인 LibSVM, LibLINEAR, 앙상블 방법과 비교해 성능과 품질 면에서 어떻게 뛰어나게 되는가?

주요 결과

• 제안된 다수준 WSVM(MLWSVM) 프레임워크는 20만 개 이상의 특징과 10만 개의 샘플을 포함하는 산업용 BMW 데이터셋에서 학습 시간을 수일에서 수시간으로 단축시키는 데 성공했다.
• BMW 데이터셋에서는 정규 WSVM가 고성능 병렬 처리나 선형화 없이선 학습을 완료할 수 없었지만, MLWSVM는 실용적이고 효과적인 성능 유지를 유지했다.
• Forest 및 Hypothyroid와 같은 공개 데이터셋에서, AMG 보간 순서를 높일수록 분류기 카파(κ) 값이 향상되어, 더 나은 기하학적 근사치로 인해 품질 향상이 확인되었다.
• 실행 시간이 증가했음에도 불구하고, 높은 보간 순서는 분류 품질에 명백한 개선을 가져왔으며, 정교한 굴곡의 가치를 확인시켰다.
• 모든 테스트된 데이터셋, 특히 불균형 데이터셋에서도 분류 품질을 유지하거나 향상시켰으며, 정확도 면에서 LibLINEAR 및 앙상블 SVM보다 뛰어났다.
• 전체 차원과 SVD로 감소된 차원 데이터에 모두 적용했을 때 품질에 손실가지 않았지만, 전체 차원일 경우 실행 시간이 증가했다.