[논문 리뷰] Optimal learning rates for localized SVMs

Mona Meister, Ingo Steinwart|arXiv (Cornell University)|2016. 01. 01.

Face and Expression Recognition참고 문헌 59인용 수 35

한 줄 요약

이 논문은 가우시안 커널과 최소 제곱 손실을 사용한 공간적으로 국소화된 SVM 방법을 제안하여, 계산 비용을 크게 줄이고 근사 최소 최대 최적의 학습 속도를 달성한다. 무작위가 아닌 공간적 근접성에 기반해 데이터를 분할함으로써, 이 방법은 높은 테스트 정확도를 유지하면서도 학습 시간을 단축시키며, 효율성과 성능 면에서 무작위 청크 기반 방법을 능가한다.

ABSTRACT

One of the limiting factors of using support vector machines (SVMs) in large scale applications are their super-linear computational requirements in terms of the number of training samples. To address this issue, several approaches that train SVMs on many small chunks separately have been proposed in the literature. With the exception of random chunks, which is also known as divide-and-conquer kernel ridge regression, however, these approaches have only been empirically investigated. In this work we investigate a spatially oriented method to generate the chunks. For the resulting localized SVM that uses Gaussian kernels and the least squares loss we derive an oracle inequality, which in turn is used to deduce learning rates that are essentially minimax optimal under some standard smoothness assumptions on the regression function. In addition, we derive local learning rates that are based on the local smoothness of the regression function. We further introduce a data-dependent parameter selection method for our local SVM approach and show that this method achieves the same almost optimal learning rates. Finally, we present a few larger scale experiments for our localized SVM showing that it achieves essentially the same test error as a global SVM for a fraction of the computational requirements. In addition, it turns out that the computational requirements for the local SVMs are similar to those of a vanilla random chunk approach, while the achieved test errors are significantly better.

연구 동기 및 목표

• 대규모 응용 분야에서 전역 SVM의 초선형 계산 비용 문제를 해결하기 위해.
• 학습 데이터를 국소 청크로 나누는 공간적 정보 기반 방법을 개발하여 학습 효율성을 향상시키기 위해.
• 회귀 함수의 부드러움 조건을 가정할 때 국소화된 SVM의 이론적 학습 속도를 도출하기 위해.
• 이론적으로 최적의 선택과 동일한 학습 속도를 유지할 수 있는 데이터 기반의 하이퍼파ram터 선택 방법을 도입하기 위해.
• 국소화된 SVM이 전역 SVM과 유사한 테스트 정확도를 달성하면서도 계산 비용의 일부분만으로도 작동함을 경험적으로 검증하기 위해.

제안 방법

• 입력 공간을 격자 또는 클러스터링 기반 접근 방식을 사용해 공간적으로 국소화된 영역으로 나누어 학습 청크를 형성한다.
• 각 국소 SVM은 가우시안 커널과 최소 제곱 손실을 사용해 공간적으로 제한된 데이터 부분집합에서 독립적으로 학습된다.
• 국소화된 SVM의 일반화 오차를 제한하기 위해 오рак루 불등식을 유도하여 이론적 학습 속도 분석이 가능하게 한다.
• 기저 회귀 함수의 국소 부드러움에 기반해 학습 속도를 유도함으로써 비균일한 데이터 부드러움에 대한 적응성을 향상시킨다.
• 이론적으로 최적의 수렴 속도를 달성할 수 있도록 자동으로 하이퍼파ram터를 조정하는 데이터 의존적 파라미터 선택 규칙을 도입한다.
• 이론적 분석을 통해 제안된 방법이 표준 부드러움 조건 하에서 학습 속도가 실질적으로 최소 최대 최적임을 보여준다.

실험 결과

연구 질문

• RQ1 학습 데이터의 공간적 국소화 분할이 SVM에 대해 근사 최소 최대 최적의 학습 속도를 달성할 수 있는가?
• RQ2 국소화된 SVM에서 회귀 함수의 국소 부드러움이 학습 속도에 어떤 영향을 미치는가?
• RQ3 데이터 기반의 하이퍼파ram터 선택 방법이 이론적으로 최적의 선택과 동일한 학습 속도를 달성할 수 있는가?
• RQ4 국소화된 SVM의 계산 비용은 전역 및 무작위 청크 기반 SVM과 비교해 어떻게 되는가?
• RQ5 국소화된 SVM은 학습 시간을 줄이면서도 전역 SVM과 유사한 테스트 정확도를 유지하는가?

주요 결과

• 표준 회귀 함수의 부드러움 조건 하에서 국소화된 SVM은 실질적으로 최소 최대 최적의 학습 속도를 달성한다.
• 기저 회귀 함수의 국소 부드러움에 기반한 국소 학습 속도 도출은 비균일한 데이터에서의 적응성과 성능 향상을 향상시킨다.
• 제안된 데이터 의존적 파라미터 선택 방법은 부드러움에 대한 사전 지식이 없이도 거의 최적의 학습 속도를 달성한다.
• 대규모 실험 결과, 국소화된 SVM은 전역 SVM과 유사한 테스트 오차를 기록하지만 계산 자원의 일부분만을 소비한다.
• 국소화된 SVM의 계산 비용은 무작위 청크 기반 방법과 유사하지만, 테스트 오차는 상당히 낮아 뛰어난 효율-정확도 트레이드오프를 보여준다.