[논문 리뷰] Gaussian Quadrature for Kernel Features

Tri Dao, Christopher De외 1명|arXiv (Cornell University)|2017. 09. 08.

Generative Adversarial Networks and Image Synthesis참고 문헌 24인용 수 13

한 줄 요약

이 논문은 가우시안 구적법을 사용하여 커널 함수의 푸리에 변환을 근사함으로써 커널 방법에 대한 결정적 특징 맵을 제안한다. 이는 랜덤 푸리에 특징보다 더 적은 샘플 수로 지수적으로 작은 근사 오차를 달성한다. 희소 ANOVA 커널의 경우, 샘플 복잡도를 O(d³)에서 O(d)로 감소시켜 더 빠른 특징 생성과 MNIST 및 TIMIT 데이터셋에서 유사하거나 향상된 정확도를 달성한다.

ABSTRACT

Kernel methods have recently attracted resurgent interest, showing performance competitive with deep neural networks in tasks such as speech recognition. The random Fourier features map is a technique commonly used to scale up kernel machines, but employing the randomized feature map means that $O(ε^{-2})$ samples are required to achieve an approximation error of at most $ε$. We investigate some alternative schemes for constructing feature maps that are deterministic, rather than random, by approximating the kernel in the frequency domain using Gaussian quadrature. We show that deterministic feature maps can be constructed, for any $γ> 0$, to achieve error $ε$ with $O(e^{e^γ} + ε^{-1/γ})$ samples as $ε$ goes to 0. Our method works particularly well with sparse ANOVA kernels, which are inspired by the convolutional layer of CNNs. We validate our methods on datasets in different domains, such as MNIST and TIMIT, showing that deterministic features are faster to generate and achieve accuracy comparable to the state-of-the-art kernel methods based on random Fourier features.

연구 동기 및 목표

• 커널 머신에서 커널 함수를 근사하기 위해 랜덤성이 필수적인가를 조사하는 것.
• 랜덤 푸리에 특징보다 근사 오차 ε에 대해 더 우수한 스케일링을 달성하는 결정적 특징 맵을 개발하는 것.
• 희소 ANOVA 커널에 대해 효율성과 정확도를 향상시키는 것. 이는 컨volutional 신경망 레이어와 유사하다.
• 실제 데이터셋인 MNIST 및 TIMIT에서 실험적으로 방법을 검증하는 것.
• 결정적 구적 기반 특징 맵이 최신 랜덤 푸리에 특징 방법의 성능을 따라하거나 뛰어넘을 수 있음을 보여주는 것.

제안 방법

• 랜덤 샘플링 대신 구조화된 노드와 가중치를 사용하여 커널의 푸리에 변환 적분을 결정적으로 근사하기 위해 가우시안 구적법을 사용한다.
• 근사 오차를 최소화하기 위해 주파수 도메인에서 구적 노드와 가중치를 선택하여 특징 맵을 구성한다.
• 다항식 정확도가 보장되는 구적법, 조밀한 격자, 희소 격자, 재가중 격자 구축 방식을 활용하여 결정적 특징을 생성한다.
• 희소 ANOVA 커널의 경우, O(d³)에서 O(d)로 필요한 샘플 수를 감소시킬 수 있다.
• 하나의 격자에서 샘플링을 줄였을 때 정확도를 향상시키기 위해 재가중 기법을 적용하여 대규모 데이터셋에서의 성능을 향상시킨다.
• 결정적 특징 생성과 선형 분류기의 조합을 통해 전체 그램 행렬을 생성하지 않고도 확장 가능한 커널 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 결정적 특징 맵이 랜덤 푸리에 특징보다 커널 방법에서 근사 오차 스케일링을 더 우수하게 달성할 수 있는가?
• RQ2 희소 ANOVA 커널의 경우, 결정적 구적법의 샘플 복잡도가 랜덤 샘플링보다 어떻게 비교되는가?
• RQ3 결정적 특징 맵이 특징 생성 속도와 분류 정확도 측면에서 랜덤 푸리에 특징을 능가할 수 있는가?
• RQ4 구조화된 커널, 예를 들어 희소 ANOVO 커널이 결정적 구적 기반 특징 맵으로부터 얼마나 많은 이점을 얻을 수 있는가?
• RQ5 결정적 특징 생성이 랜덤 푸리에 특징에 내재된 확률적 오차 보장이 필요 없어지는가?

주요 결과

• 모든 γ > 0에 대해, ε → 0일 때 O(e^{e^{γ}} + ε^{-1/γ})개의 샘플로 ε-근사 오차를 달성하며, 이는 랜덤 푸리에 특징보다 더 유리한 스케일링을 제공한다.
• 희소 ANOVA 커널에서 결정적 맵은 O(d)개의 샘플만 필요로 하며, 랜덤 푸리에 특징은 O(d³)개의 샘플이 필요하므로 상당한 효율성 향상이 이루어진다.
• MNIST에서 결정적 구적 기반 특징은 랜덤 푸리에 특징과 유사한 테스트 정확도를 달성했으며, 재가중 격자를 사용할 경우 최대 3배 낮은 커널 근사 오차를 기록했다.
• TIMIT에서 재가중 구적 특징은 랜덤 푸리에 특징보다 약간 낮은 전화 오류율을 기록했으며, 특징 생성 속도는 두 배로 빨랐다.
• 랜덤 푸리에 특징 대비 커널 근사 오차를 최대 3배까지 감소시켰으며, 분류 정확도는 유지하거나 향상시켰다.
• 결정적 특징 맵은 더 적은 곱셈 연산을 통해 랜덤 푸리에 특징보다 약 2배 빠르게 생성되었으며, 모델 성능에 손상 없이 구현되었다.