[논문 리뷰] NESVM: a Fast Gradient Method for Support Vector Machines

Tianyi Zhou, Dacheng Tao외 1명|arXiv (Cornell University)|2010. 08. 24.

Advanced Image and Video Retrieval Techniques참고 문헌 21인용 수 5

한 줄 요약

NESVM는 비차별 가능한 허프만 손실과 ℓ₁-노름을 부드럽게 처리하고, 선형 시간 복잡도를 갖는 반복마다 두 번의 행렬-벡터 곱셈만을 요구하며, 최적의 수렴 속도 𝒪(1/k²)를 달성하는 새로운 빠른 기울기 방법이다. 이는 Nesterov의 최적 기울기 방법을 사용하여 선색 검색 없이 적용하고, 선형 및 비선형 커널 모두에 대해 대규모 훈련을 효율적으로 가능하게 한다.

ABSTRACT

Support vector machines (SVMs) are invaluable tools for many practical applications in artificial intelligence, e.g., classification and event recognition. However, popular SVM solvers are not sufficiently efficient for applications with a great deal of samples as well as a large number of features. In this paper, thus, we present NESVM, a fast gradient SVM solver that can optimize various SVM models, e.g., classical SVM, linear programming SVM and least square SVM. Compared against SVM-Perf \cite{SVM_Perf}\cite{PerfML} (its convergence rate in solving the dual SVM is upper bounded by $\mathcal O(1/\sqrt{k})$, wherein $k$ is the number of iterations.) and Pegasos \cite{Pegasos} (online SVM that converges at rate $\mathcal O(1/k)$ for the primal SVM), NESVM achieves the optimal convergence rate at $\mathcal O(1/k^{2})$ and a linear time complexity. In particular, NESVM smoothes the non-differentiable hinge loss and $\ell_1$-norm in the primal SVM. Then the optimal gradient method without any line search is adopted to solve the optimization. In each iteration round, the current gradient and historical gradients are combined to determine the descent direction, while the Lipschitz constant determines the step size. Only two matrix-vector multiplications are required in each iteration round. Therefore, NESVM is more efficient than existing SVM solvers. In addition, NESVM is available for both linear and nonlinear kernels. We also propose "homotopy NESVM" to accelerate NESVM by dynamically decreasing the smooth parameter and using the continuation method. Our experiments on census income categorization, indoor/outdoor scene classification, event recognition and scene recognition suggest the efficiency and the effectiveness of NESVM. The MATLAB code of NESVM will be available on our website for further assessment.

연구 동기 및 목표

• 고표본 및 고특성 수를 가진 대규모 데이터셋에 대해 기존 SVM 솔버의 비효율성을 해결한다.
• 일阶 방법의 느린 수렴 속도(𝒪(1/√k))와 이阶 방법의 높은 계산 비용을 극복한다.
• 선색 검색이나 헤시안 행렬 계산 없이도 최적 수렴을 달성하는 확장성 있고 빠르며 안정적인 솔버를 개발한다.
• 통일된 프레임워크를 통해 선형 및 비선형 커널 SVM 모두에 대해 효율적인 훈련을 가능하게 한다.
• 특히 클래스 겹침 또는 불균형 데이터에서 기존 솔버가 어려움을 겪는 상황에서도 수렴 속도와 안정성을 향상시킨다.

제안 방법

• 매개변수화된 스무딩 함수를 사용하여 원래의 SVM 목적 함수 내 비차별 가능한 허프만 손실과 ℓ₁-노름을 스무딩한다.
• 스무딩된 최적화 문제를 해결하기 위해 Nesterov의 최적 기울기 방법을 적용하여 현재 및 이전 기울기를 조합해 내림방향을 결정한다.
• 스무딩된 목적 함수의 리프시츠 상수를 자동으로 이용해 스텝 크기를 설정함으로써 선색 검색이 필요 없도록 한다.
• 반복마다 두 번의 행렬-벡터 곱셈을 수행하여 기울기를 계산하고 해를 효율적으로 갱신한다.
• 스무딩 매개변수 μ를 동적으로 감소시키고 온난 스타트를 활용함으로써 수렴 속도를 가속화하는 히스토리 호밍 NESVM을 도입한다.
• 기본 형식과 효율적인 기울기 계산을 활용하여 선형 및 비선형 커널 SVM 모두를 지원한다.

실험 결과

연구 질문

• RQ1 이阶 방법이 헤시안 행렬 계산 없이도 원래의 SVM에 대해 최적의 𝒪(1/k²) 수렴 속도를 달성할 수 있는가?
• RQ2 원래의 SVM에서 비차별 가능한 구성요소(허프만 손실 및 ℓ₁-노름)를 효과적으로 스무딩하여 빠른 기울기 방법을 적용할 수 있는가?
• RQ3 기존 SVM 솔버의 수렴 속도와 계산 효율성을 대규모 밀도 특성 데이터셋에서 크게 향상시킬 수 있는가?
• RQ4 다양한 실세계 데이터셋에서 NESVM의 성능이 최신 솔버들(SVM-Perf, Pegasos, LIBSVM, SVM-Light)과 비교해 어떻게 되는가?
• RQ5 고정밀도 해가 필요한 경우 히스토리 호밍 전략이 훈련 시간을 얼마나 줄일 수 있는가?

주요 결과

• NESVM는 최적의 수렴 속도 𝒪(1/k²)를 달성하여, Pegasos(𝒪(1/k))와 SVM-Perf(𝒪(1/√k))보다 수렴 속도가 빠르다.
• NESVM은 반복마다 단지 두 번의 행렬-벡터 곱셈만을 요구하여 선형 시간 복잡도를 가지며, 대규모 데이터셋에서 높은 효율성을 보인다.
• 실내 환경 분류 작업에서는 NESVM이 SVM-Perf, SVM-Light, LIBSVM보다 빠르게 훈련되었으며, 특히 큰 C 값에서 두드러진 성능을 보였다.
• 실외 환경 분류 작업에서는 NESVM이 SVM-Light와 LIBSVM보다 뚜렷하게 빠르게 작동했고, SVM-Perf는 너무 느려 실용적이지 못했다.
• 사건 인식 및 환경 인식 작업에서 NESVM은 모든 C 값에서 가장 짧은 훈련 시간을 기록하여 안정성과 확장성을 입증했다.
• 히스토리 호밍 NESVM은 온난 스타트와 함께 스무딩 매개변수 μ를 동적으로 감소시켜 고정밀도가 필요한 경우 훈련 시간을 크게 단축시켰다.