[논문 리뷰] A sparse semismooth Newton based augmented Lagrangian method for large-scale support vector machines

Dunbiao Niu, Chengjing Wang외 3명|arXiv (Cornell University)|2019. 10. 03.

Sparse and Compressive Sensing Techniques참고 문헌 46인용 수 6

한 줄 요약

이 논문은 대규모 서포트 벡터 머신을 위한 희소 세미스무스 뉴턴 기반 보완 라그랑주 방법(SSsNAL)을 제안한다. 이 방법은 원본-이중 오차 경계와 이차 희소성 구조를 활용하여 빠른 국소 수렴성을 달성한다. 수치 결과는 SSsNAL이 대규모 SVM 문제에서 최신 기술 대비 최대 100배 빠른 속도로 성능을 뛰어올랐음을 보여준다.

ABSTRACT

Support vector machines (SVMs) are successful modeling and prediction tools with a variety of applications. Previous work has demonstrated the superiority of the SVMs in dealing with the high dimensional, low sample size problems. However, the numerical difficulties of the SVMs will become severe with the increase of the sample size. Although there exist many solvers for the SVMs, only few of them are designed by exploiting the special structures of the SVMs. In this paper, we propose a highly efficient sparse semismooth Newton based augmented Lagrangian method for solving a large-scale convex quadratic programming problem with a linear equality constraint and a simple box constraint, which is generated from the dual problems of the SVMs. By leveraging the primal-dual error bound result, the fast local convergence rate of the augmented Lagrangian method can be guaranteed. Furthermore, by exploiting the second-order sparsity of the problem when using the semismooth Newton method,the algorithm can efficiently solve the aforementioned difficult problems. Finally, numerical comparisons demonstrate that the proposed algorithm outperforms the current state-of-the-art solvers for the large-scale SVMs.

연구 동기 및 목표

• 표본 수 증가로 인한 대규모 서포트 벡터 머신 해법의 수치적 과제를 해결하기 위해.
• 선형 등식 제약과 상자 제약 조건을 갖는 볼록 2차 프로그래밍 문제로서 SVM 이중 문제의 특수한 구조에 맞는 효율적인 알고리즘을 개발하기 위해.
• 보완 라그랑주 방법의 빠른 국소 수렴을 보장하기 위해 원본-이중 오차 경계 결과를 활용하기 위해.
• 세미스무스 뉴턴 방법에서의 이차 희소성을 활용하여 하위문제 해결을 가속화하기 위해.
• 대규모 SVM 문제에서 기존 최신 기술 대비 속도와 반복 횟수 측면에서 뛰어난 성능을 입증하기 위해.

제안 방법

• C-SVC와 SVR의 통합 형태로 표현되는 선형 등식 제약과 단순 경계를 갖는 볼록 2차 프로그래밍 문제로 SVM 이중 문제를 수식화하기 위해.
• 보완 라그랑주 방법(ALM)을 사용하여 이중 문제를 해결함으로써 전역 수렴성을 확보하고, 원본-이중 오차 경계를 활용하여 빠른 국소 수렴성을 확보하기 위해.
• ALM에서 발생하는 하위문제를 해결하기 위해 세미스무스 뉴턴(SsN) 방법을 적용함으로써 뉴턴 시스템에서 헤시안 행렬의 희소성을 활용하기 위해.
• SsN 단계에서 희소 선형 시스템 해법 전략을 도입하여, 비한정 지원 벡터의 수에 기반해 더 작은 시스템을 풀어 계산 비용을 절감하기 위해.
• 충분한 감소를 보장하고 전역 수렴성을 확보하기 위해 적응형 선색색 및 정확한 스텝 길이 선택을 구현하기 위해.
• SsN 하위문제 해법기를 ALM 프레임워크에 통합하여, ALM의 전역 수렴성과 SsN의 빠른 국소 수렴성을 결합한 하이브리드 알고리즘(SSsNAL)을 구성하기 위해.

실험 결과

연구 질문

• RQ1 세미스무스 뉴턴 기반 보완 라그랑주 방법은 높은 효율성으로 대규모 SVM 이중 문제를 효과적으로 해결할 수 있는가?
• RQ2 헤시안 행렬에서의 이차 희소성 이용이 ALM 프레임워크 내 하위문제 해결의 계산 속도에 어떤 영향을 미치는가?
• RQ3 기존 최신 기술인 FAPG와 P2GP에 비해 제안된 SSsNAL 방법은 대규모 SVM 문제에서 어떤 성능 향상을 보이는가?
• RQ4 제안된 알고리즘에서 원본-이중 오차 경계는 빠른 국소 수렴을 얼마나 잘 보장하는가?
• RQ5 비한정 지원 벡터의 수는 실질적으로 내부 SsN 하위문제 해법의 효율성에 어떤 영향을 미치는가?

주요 결과

• SSsNAL은 대규모 SVM 문제에서 FAPG와 P2GP에 비해 최대 100배 빠른 속도를 기록했으며, 특히 가장 도전적인 케이스에서 뚜렷한 성능 향상을 보였다.
• 대규모 문제에서는 전체 학습 샘플 수에 비해 비한정 지원 벡터의 수가 상당히 적어, 작은 선형 시스템을 통해 SsN 하위문제를 효율적으로 해결할 수 있었다.
• RBF 커널을 사용한 SVR 문제에서는 SSsNAL이 8(3)에서 149(340,595)회의 반복과 29초에서 2:15분의 시간을 소비하여, 시간과 반복 횟수 측면에서 FAPG와 P2GP를 모두 압도했다.
• KKT 잔여항은 10^-6 이하로 감소했으며, 평균 MSE 값은 cadata의 경우 2.88×10^-2, abalone의 경우 4.63×10^-2, space_ga의 경우 1.15×10^-1로 높은 해의 정확도를 나타냈다.
• 다양한 데이터셋과 무작위 분할에 걸쳐 알고리즘이 강력한 성능을 보였으며, 수렴 속도와 반복 횟수 측면에서 일관되게 뛰어난 우수성을 보였다.
• 원본-이중 오차 경계와 희소 SsN 하위문제 해법의 조합은 빠른 국소 수렴성을 보장하면서도 전역 수렴성과 높은 효율성을 유지한다.