[논문 리뷰] Fast Prediction with SVM Models Containing RBF Kernels

Marc Claesen, Frank De Smet외 2명|arXiv (Cornell University)|2014. 03. 04.

Model Reduction and Neural Networks참고 문헌 39인용 수 21

한 줄 요약

이 논문은 RBF 커널 평가를 위한 두 번째 차수 마클로린 급수 근사법을 제안하며, 이는 예측 복잡도를 지지 벡터의 수가 아닌 입력 차원 수에 대해 제곱적으로 스케일링함으로써 SVM 모델에서 성능을 향상시킨다. 입력 차원 수가 지지 벡터의 수에 비해 작을 경우, 이 방법은 상당한 속도 향상과 모델 압축(최대 290배)을 달성하며, 오차가 제한되어 있고 데이터 은폐 기능까지 제공한다.

ABSTRACT

We present an approximation scheme for support vector machine models that use an RBF kernel. A second-order Maclaurin series approximation is used for exponentials of inner products between support vectors and test instances. The approximation is applicable to all kernel methods featuring sums of kernel evaluations and makes no assumptions regarding data normalization. The prediction speed of approximated models no longer relates to the amount of support vectors but is quadratic in terms of the number of input dimensions. If the number of input dimensions is small compared to the amount of support vectors, the approximated model is significantly faster in prediction and has a smaller memory footprint. An optimized C++ implementation was made to assess the gain in prediction speed in a set of practical tests. We additionally provide a method to verify the approximation accuracy, prior to training models or during run-time, to ensure the loss in accuracy remains acceptable and within known bounds.

연구 동기 및 목표

• 예측 시간이 지지 벡터의 수에 비례하여 선형적으로 증가하는 RBF 커널 SVM의 예측 시간을 줄이기 위해, 이는 실시간 또는 고처리량 응용 분야에서 문제가 될 수 있다.
• 지지 벡터의 수에 따라 예측 속도가 영향을 받지 않는 근사 방법을 개발하여, 입력 차원 수가 낮을 경우 더 빠른 모델을 만들 수 있도록 하기 위해.
• 모델 배포 이전 또는 동안에 정확도가 허용 가능한 수준을 유지하기 위해 사전에 검증 가능하고 보수적인 오차 한계를 제공하기 위해.
• 생물의학 연구와 같은 개인정보 민감도가 높은 분야에서 사용 가능한, 더 작고 데이터 은폐 기능을 갖춘 모델을 제공하기 위해.

제안 방법

• 지수 함수의 두 번째 차수 마클로린 급수 전개를 사용하여 RBF 커널 함수 $ \kappa(\mathbf{x}_i, \mathbf{x}_j) = e^{-\gamma \|\mathbf{x}_i - \mathbf{x}_j\|^2} $ 를 근사하기.
• 정확한 커널 평가를 입력 특징에 대한 이차형식으로 대체함으로써, 조밀한 벡터 $ \mathbf{v} $ 와 대칭 행렬 $ \mathbf{M} $ 에 의존하는 결정 함수를 도출하기.
• 조건 $ |x| < 0.5 $ 를 사용하여 근사의 상대 오차에 대한 상한을 유도함으로써, $ \leq 3.05\% $ 의 상대 오차를 보장함.
• 근사된 모델을 스칼라 3개($ b, c, \gamma $), 벡터 $ \mathbf{v} \in \mathbb{R}^d $, 행렬 $ \mathbf{M} \in \mathbb{R}^{d \times d} $ 로 저장하여 메모리 점유율을 감소시킴.
• 레프레젠터 정리에 의존하는 모든 커널 방법에 이 근사를 적용함: SVM, 가우시안 프로세스, 커널 주성분 분석, 커널 판별 분석 등.
• 여러 데이터셋에서 속도, 정확도, 압축 성능을 실증적으로 검증하기 위해 최적화된 C++ 버전을 구현함.

실험 결과

연구 질문

• RQ1 RBF 커널의 두 번째 차수 마클로린 근사는 모델 정확도를 훼손하지 않으면서 예측 시간을 상당히 줄일 수 있는가?
• RQ2 이 근사는 다양한 데이터셋에서 오차가 제한되어 있는가? 이 오차 한계는 사전 또는 런타임에 검증 가능한가?
• RQ3 입력 차원 수가 지지 벡터의 수에 비해 작을 경우, 근사된 RBF-SVM의 모델 크기는 정확한 모델과 비교해 어떻게 되는가?
• RQ4 이 근사는 원래의 학습 데이터를 얼마나 효과적으로 은폐하는가? 개인정보 민감도가 높은 응용 분야에서의 활용 가능성을 어떻게 높이는가?

주요 결과

• 근사된 모델은 sensit 데이터셋에서 최대 290배의 압축 비율을 달성하였으며, 모델 크기를 32MB에서 113KB로 줄였다.
• 예측 속도는 지지 벡터의 수 $ n_{\text{SV}} $ 가 아닌 입력 차원 수 $ d $ 에 대해 제곱적으로 증가하며, $ d \ll n_{\text{SV}} $ 인 경우에 상당한 속도 향상을 제공한다.
• RBF 커널의 지수 부분이 $ |x| < 0.5 $ 로 제한될 경우 상대 오차가 3.05% 이내로 유지되며, 이는 검증 가능한 오차 한계를 제공한다.
• 모든 테스트 데이터셋을 제외한 나머지에서는 근사된 모델이 정확한 모델보다 훨씬 작았으며, 특히 $ n_{\text{SV}} $ 가 높고 $ d $ 가 낮은 데이터셋에서 가장 큰 성과를 보였다.
• 지지 벡터가 복잡한 조합으로 대체됨에 따라 학습 데이터가 은폐되어 원래의 인스턴스를 역으로 추론하는 것이 매우 어렵게 된다.
• 입력 차원 수 $ d $ 가 작을 경우, 선형 근사 비용과 알려진 오차 한계 덕분에 신경망 기반 근사보다 속도와 오차 제어 면에서 뛰어나다.