[논문 리뷰] Nystrom Method for Approximating the GMM Kernel

Ping Li|arXiv (Cornell University)|2016. 07. 12.

Gaussian Processes and Bayesian Inference참고 문헌 9인용 수 5

한 줄 요약

이 논문은 대규모 기계학습을 위한 일반화된 최소-최대(GMM) 커널을 근사하기 위해 Nystrom 방법을 적용하는 새로운 방법인 GMM-NYS를 제안한다. 표본 기반 커널 근사 기법을 활용함으로써, RBF-RFF보다 더 적은 표본 수로도 유의미하게 높은 분류 정확도를 달성하여, 기존의 커널 근사 기법들에 비해 강력한 대안으로 자리매김한다.

ABSTRACT

The GMM (generalized min-max) kernel was recently proposed (Li, 2016) as a measure of data similarity and was demonstrated effective in machine learning tasks. In order to use the GMM kernel for large-scale datasets, the prior work resorted to the (generalized) consistent weighted sampling (GCWS) to convert the GMM kernel to linear kernel. We call this approach as ``GMM-GCWS''. In the machine learning literature, there is a popular algorithm which we call ``RBF-RFF''. That is, one can use the ``random Fourier features'' (RFF) to convert the ``radial basis function'' (RBF) kernel to linear kernel. It was empirically shown in (Li, 2016) that RBF-RFF typically requires substantially more samples than GMM-GCWS in order to achieve comparable accuracies. The Nystrom method is a general tool for computing nonlinear kernels, which again converts nonlinear kernels into linear kernels. We apply the Nystrom method for approximating the GMM kernel, a strategy which we name as ``GMM-NYS''. In this study, our extensive experiments on a set of fairly large datasets confirm that GMM-NYS is also a strong competitor of RBF-RFF.

연구 동기 및 목표

• 대규모 데이터셋에 대한 비선형 커널 방법, 예를 들어 GMM 커널의 스케일링 문제를 해결하기 위해.
• 커널 근사에 있어 RBF-RFF 방법의 높은 분산과 표본 비효율성 문제를 개선하기 위해.
• Nystrom 방법이 GMM 커널에 대한 커널 근사 기법으로서의 적용 가능성과 성능을 탐구하기 위해.
• 표본 기반 기법인 GMM-NYS가 랜덤 프로젝션 기반 기법인 RBF-RFF에 비해 정확도 및 표본 효율성 측면에서 실질적인 환경에서 뛰어나다는 것을 입증하기 위해.

제안 방법

• 표본 추출을 통해 커널 행렬의 저랭크 근사를 구성하기 위해 일부 데이터 포인트를 추출함으로써, GMM 커널을 Nystrom 방법을 통해 근사한다.
• GMM 커널은 원본 데이터 벡터의 2차원 확장 후 요소 간 최솟값의 합을 요소 간 최댓값의 합으로 나눈 비율로 정의된다.
• 랜덤 표본 추출을 통해 GMM 커널 하에서 유사성 정보를 유지하는 압축된 표현을 생성한다.
• 결과적으로 생성된 저차원 특징은 선형 서포트 벡터 머신 또는 로지스틱 회귀와 같은 선형 분류기의 입력으로 사용된다.
• 이 방법은 RBF-RFF 및 GMM-GCWS와의 차별성을 고려해 GMM-NYS로 명명되었으며, GMM 커널 근사를 위한 Nystrom 방법의 사용을 강조한다.
• 표준 기계학습 파ip라인과 선형 분류기를 사용하여 다양한 대규모 데이터셋에서 방법을 평가한다.

실험 결과

연구 질문

• RQ1 Nystrom 방법은 대규모 학습 과제에 대한 GMM 커널 근사에 효과적으로 적용될 수 있는가?
• RQ2 GMM-NYS의 성능은 분류 정확도와 표본 효율성 측면에서 RBF-RFF와 비교해 어떻게 되는가?
• RQ3 실제 환경에서 표본 기반 커널 근사(GMM-NYS)가 랜덤 프로젝션 기반 방법(RBF-RFF)을 초월하는가?
• RQ4 표본 크기(k)가 어느 정도일 때 GMM-NYS가 원본 데이터에 대한 선형 SVM의 성능을 뛰어넘는가?
• RQ5 GMM-NYS는 GMM-GCWS 및 RBF-RFF와 같은 기존의 커널 근사 기법들에 비해 실현 가능하고 경쟁력 있는 대안인가?

주요 결과

• 모든 테스트 데이터셋에서 GMM-NYS는 RBF-RFF보다 유의미하게 높은 분류 정확도를 달성하며, 더 작은 표본 크기(k)에서도 성능이 뛰어나다.
• SVMGuide3 데이터셋에서, GMM-NYS는 k=32일 때 원본 선형 SVM의 정확도 36.5%를 초월한다.
• Letter 데이터셋에서, GMM-NYS는 k=32일 때 원본 선형 SVM의 성능을 뛰어넘으며, 동일한 k에서 RBF-RFF보다 높은 정확도를 기록한다.
• Covertype25k에서, GMM-NYS는 k≥64일 때 원본 데이터에 대한 선형 SVM의 성능을 초월하여 비선형 구조를 효과적으로 포착함을 보여준다.
• RCV1에서, GMM-NYS는 RBF-RFF를 계속해서 능가하며, 특히 낮은 k 값에서 RBF-RFF의 성능이著しく 열 劣하다는 점을 확인한다.
• 결과는 표본 기반 기법인 GMM-NYS가 랜덤 프로젝션 기반 기법인 RBF-RFF보다 분산이 낮고 표본 효율성이 뛰어나다는 것을 확인한다.