[논문 리뷰] Random Feature Maps for Dot Product Kernels

Purushottam Kar, Harish Karnick|arXiv (Cornell University)|2012. 01. 31.

Face and Expression Recognition참고 문헌 14인용 수 121

한 줄 요약

이 논문은 조화 해석을 활용하여 비선형 특징 공간을 저차원 유클리드 공간에 낮은 왜곡으로 매핑하는 새로운 무작위 특징 맵을 제안한다. 라히미와 레이치의 작업을 이동 불변 커널을 초월하여 일반적인 내적 커널으로 확장함으로써, 기준 방법보다 훨씬 적은 수의 무작위 특징을 사용하여 훨씬 빠른 학습 및 테스트 시간으로 높은 정확도의 분류를 달성한다.

ABSTRACT

Approximating non-linear kernels using feature maps has gained a lot of interest in recent years due to applications in reducing training and testing times of SVM classifiers and other kernel based learning algorithms. We extend this line of work and present low distortion embeddings for dot product kernels into linear Euclidean spaces. We base our results on a classical result in harmonic analysis characterizing all dot product kernels and use it to define randomized feature maps into explicit low dimensional Euclidean spaces in which the native dot product provides an approximation to the dot product kernel with high confidence.

연구 동기 및 목표

• 커널 방법에서 예측을 느리게 하는 '지지의 고통' 문제를 해결하기 위해, 큰 지지 집합으로 인한 비용이 많이 드는 커널 평가로 인해 예측 속도가 저하됨.
• 조화 해석을 활용하여 이동 불변 커널을 초월한 일반적인 내적 커널로 무작위 특징 매핑을 확장하기 위해.
• 고도의 확률로 커널 유사성을 유지하는 명시적이고 저차원의 매핑을 개발하기 위해.
• 낮은 차원 공간에서 암시적 커널 계산을 명시적 특징 맵으로 대체하여 커널 방법의 효율성을 향상시키기 위해.

제안 방법

• 모든 내적 커널을 특징 맵의 내적으로 특징화하는 데 고전적인 조화 해석 결과를 사용한다.
• ⟨Z(x), Z(y)⟩ ≈ K(x, y)가 높은 확률로 성립하도록 Z: Rd → RD 인 무작위 특징 맵을 구성한다.
• 근사 정확도를 향상시키기 위해 상수 편향 항을 추가한 수정된 특징 맵 H0/1을 활용한다.
• 무작위 특징의 분포를 커널 함수의 푸리에 변환 기반으로 유도한다.
• 내적 근사에서 낮은 왜곡을 보장하기 위해 존슨-린든스트라우스 보조정리를 적용한다.
• 두 단계의 구축 방식을 활용한다: 먼저 커널의 푸리에 변환에서 샘플링을 수행하고, 그 다음 H0/1을 통해 편향 보정을 실시한다.

실험 결과

연구 질문

• RQ1 이동 불변 커널을 초월하여 일반적인 내적 커널로 무작위 특징 맵을 확장할 수 있는가?
• RQ2 어떻게 일반적인 내적 커널을 저차원 유클리드 공간에 낮은 왜곡으로 매핑할 수 있는가?
• RQ3 편향 항(H0/1)을 추가함으로써 근사 정확도와 계산 효율성에 어떤 영향을 미치는가?
• RQ4 실제로 무작위 특징의 수가 분류 정확도와 학습/테스트 속도에 어떤 영향을 미치는가?

주요 결과

• 소수의 무작위 특징을 사용할 때, 표준 무작위 특징 맵(RF)에 비해 H0/1 특징 맵이 훨씬 높은 분류 정확도를 달성한다.
• 평균적으로 H0/1은 입력 차원 d에 비해 d = 45개의 추가 특징만 필요로 하며, 이로 인해 뛰어난 성능을 발휘한다.
• Spambase, Nursery, IJCNN, Cod-RNA 네 가지 벤치마크 데이터셋에서 H0/1은 낮은 D에서 RF보다 정확도가 뛰어나며, D가 증가함에 따라 격차는 점차 줄어든다.
• H0/1을 사용함으로써 학습 및 테스트 시간이 크게 단축되며, 특히 낮은 D에서 특징 생성 속도 향상과 더불어 분리 가능성 향상으로 인해 빠른 성능 향상이 이루어진다.
• 어떤 경우에서는 학습 시간을 수 개의 주기수만큼 줄일 수 있으며, 동시에 경쟁 가능한 분류 정확도를 유지한다.
• 이 특징 맵의 구축은 다항식 및 지수 커널을 포함한 다양한 커널 유형에 대해 안정적이고 일반화 가능하다.