[논문 리뷰] Approximate Stochastic Subgradient Estimation Training for Support Vector Machines

Sangkyun Lee, Stephen J. Wright|arXiv (Cornell University)|2011. 11. 02.

Machine Learning and Algorithms참고 문헌 25인용 수 5

한 줄 요약

이 논문은 강한 볼록성이나 이중 형식을 요구하지 않는 비선형 SVM 학습을 위한 확률적 서브기울기 방법인 ASSET을 제안한다. 비선형 커널의 난수 기반 저차원 근사와 $O(1/√t)$ 단계 크기를 사용한 견고한 확률적 근사 방법을 통해, 최신 솔버들과 비교해 유사한 예측 정확도를 달성하면서도 특히 대규모 및 온라인 환경에서 훨씬 빠른 학습 속도를 확보한다.

ABSTRACT

Subgradient algorithms for training support vector machines have been quite successful for solving large-scale and online learning problems. However, they have been restricted to linear kernels and strongly convex formulations. This paper describes efficient subgradient approaches without such limitations. Our approaches make use of randomized low-dimensional approximations to nonlinear kernels, and minimization of a reduced primal formulation using an algorithm based on robust stochastic approximation, which do not require strong convexity. Experiments illustrate that our approaches produce solutions of comparable prediction accuracy with the solutions acquired from existing SVM solvers, but often in much shorter time. We also suggest efficient prediction schemes that depend only on the dimension of kernel approximation, not on the number of support vectors.

연구 동기 및 목표

• 비선형 커널에 대한 명시적 특징 매핑이 없기 때문에 비선형 SVM에 대한 효율적인 서브기울기 방법이 부족한 문제를 해결한다.
• 기존 서브기울기 접근 방식이 강한 볼록성과 선형 커널을 요구하는 제약을 극복한다.
• 비선형 특징 공간의 난수 기반 저차원 근사를 사용한 원형 설정을 개발하여 확장 가능한 학습을 가능하게 한다.
• 예측 복잡도를 지지 벡터 수와 분리함으로써 온라인 및 대규모 학습을 효율적으로 가능하게 한다.
• 배치 솔버에 비해 훨씬 빠른 학습 시간을 확보하면서도 높은 예측 정확도를 유지하는 프레임워크를 제공한다.

제안 방법

• 난수 기반 기저 생성 또는 그람 행렬 근사를 통한 비선형 특징 매핑의 난수 기반 저차원 근사 사용.
• 비선형 커널 근사 공간에서 $O(1/\sqrt{t})$ 단계 길이를 사용한 원형 설정을 통한 SVM 문제 정식화.
• 강한 볼록성이 필요 없이도 감소된 원형 문제를 최소화하기 위해 견고한 확률적 근사 알고리즘 적용.
• 지지 벡터 수에 관계없이 근사 차원 $d$에만 의존하는 효율적인 예측 기반 설계.
• 반복적 근사 계산을 활용해 온라인 학습 및 점진적 업데이트를 지원.
• 강한 볼록성이 없을 경우 수렴성과 안정성을 향상하기 위해 반복값의 평균화를 통합.

실험 결과

연구 질문

• RQ1 이중 형식이나 강한 볼록성을 의존하지 않고도 서브기울기 방법을 비선형 SVM에 효과적으로 확장할 수 있는가?
• RQ2 난수 기반 저차원 커널 근사 사용이 확률적 SVM 학습의 수렴성과 정확도에 어떤 영향을 미치는가?
• RQ3 강한 볼록성이 상실되었을 때도 $O(1/\sqrt{t})$ 단계 길이 계획이 $O(1/t)$ 계획보다 성능을 뛰어나거나 유사하게 유지할 수 있는가?
• RQ4 근사 커널 방법에서 예측 복잡도를 지지 벡터 수에서 얼마나 잘 분리시킬 수 있는가?
• RQ5 대규모 데이터셋에서 기존 배치 및 온라인 SVM 솔버와 비교해 제안된 방법은 속도와 정확도 측면에서 어떻게 성능을 내는가?

주요 결과

• ASSET 방법은 CPSP 및 SVM-Light와 유사한 테스트 오차율을 달성하면서도 훨씬 빠른 학습 시간을 확보한다—일부 데이터셋에서는 CPSP 대비 최대 40배 빠른 성능을 기록한다.
• MNIST-E 데이터셋에서 $d=16384$인 ASSET F는 7.2시간 만에 2.7%의 테스트 오차를 기록했고, LASVM는 0.2% 오차를 달성하기까지 4.3일이 소요되었다.
• ASSET M와 ASSET $^{*}_{M}$는 이론적 수렴 속도가 느리지만, 최적의 정규화 파rameter가 거의 0에 가까워 강한 볼록성 가정이 깨지기 때문에 유사한 성능을 보인다.
• ADULT 데이터셋에서 CPNY는 비정상적으로 긴 실행 시간을 보이며 수치적 불안정성을 보였지만, ASSET 방법은 여전히 효율적이고 안정적인 성능을 유지했다.
• 예측 기반 설계가 근사 차원 $d$에만 의존함으로써 지지 벡터 수와 무관하게 빠른 추론이 가능해져 확장 가능한 구현이 가능해졌다.
• 강한 볼록성이 약해지는 경우(작은 $\lambda$로 인해 거의 약한 볼록성에 가까운 경우)에도 $O(1/\sqrt{t})$ 단계 길이 계획이 실질적으로 $O(1/t)$ 계획과 거의 유사한 성능을 보였다.