[논문 리뷰] Relative Error Embeddings for the Gaussian Kernel Distance

Di Chen, Jeff M. Phillips|arXiv (Cornell University)|2016. 02. 17.

Gaussian Processes and Bayesian Inference참고 문헌 14인용 수 4

한 줄 요약

이 논문은 가우시안 커널 거리 근사에서 무작위 푸리에 특징(RFF)의 상대 오차 한계를 날카롭게 설정한다. $O((1/\/varepsilon^{2})\log n)$ 차원이 $n$개의 점에 대해 충분하고, 유한한 직경을 가진 데이터에 대해서는 $O((d/\varepsilon^{2})\log \mathcal{M})$가 충분하며, 실험적 검증을 통해 대역폭에 관계없이 특징 수가 증가함에 따라 상대 오차가 안정적임을 보였다.

ABSTRACT

A reproducing kernel can define an embedding of a data point into an infinite dimensional reproducing kernel Hilbert space (RKHS). The norm in this space describes a distance, which we call the kernel distance. The random Fourier features (of Rahimi and Recht) describe an oblivious approximate mapping into finite dimensional Euclidean space that behaves similar to the RKHS. We show in this paper that for the Gaussian kernel the Euclidean norm between these mapped to features has $(1+\varepsilon)$-relative error with respect to the kernel distance. When there are $n$ data points, we show that $O((1/\varepsilon^2) \log(n))$ dimensions of the approximate feature space are sufficient and necessary. Without a bound on $n$, but when the original points lie in $\mathbb{R}^d$ and have diameter bounded by $\mathcal{M}$, then we show that $O((d/\varepsilon^2) \log(\mathcal{M}))$ dimensions are sufficient, and that this many are required, up to $\log(1/\varepsilon)$ factors.

연구 동기 및 목표

• 가우시안 커널 거리에서 상대 오차를 유지하기 위해 필요한 무작위 푸리에 특징의 수에 대한 이론적 한계를 설정하는 것.
• 이전 연구에서의 격차를 메우기 위해, $n$이 무한대일 때에도 모든 점 쌍에 대해 균일하게 성립하는 한계를 제공하는 것.
• 내적 뿐 아니라 전체 커널 거리 거리 측도에 대해서도 상대 오차가 유지됨을 보여주는 것.
• 실제 응용에서, 예를 들어 커널 주성분 분석(Kernel PCA)과 쌍별 거리 근사에서 특징 수가 증가함에 따라 상대 오차가 안정적이고 감소함을 실험적으로 검증하는 것.

제안 방법

• 등방성 가우시안 주파수 $\omega_i \sim \mathcal{N}_d(0, \sigma^{-2})$ 와 무작위 단서 이동 $\gamma_i \sim \text{Unif}(0, 2\pi)$ 를 사용한 무작위 푸리에 특징(RFF).
• 예상치로 커널 내적을 유지하기 위해 $\cos(\omega_i^T x)$ 와 $\sin(\omega_i^T x)$ 쌍을 사용하는 $\hat{\phi}$ 매핑.
• 집중 부등식과 체이닝 추론을 적용하여 상대 오차 $|D_K(x,y) - \|\hat{\phi}(x) - \hat{\phi}(y)\|| / D_K(x,y)$ 를 한정.
• 커버링 추론과 거리 엔트로피를 통해 차원 수의 한계를 도출하고, $\log(1/\varepsilon)$ 요소를 제외한 날카운 성질을 보여줌.
• USPS 데이터에 대한 커널 주성분 분석과 다양한 $\|x-y\|/\sigma$ 를 가진 쌍별 거리 시뮬레이션을 통해 결과를 실험적으로 검증.
• 커널 주성분 분석 잔차에 대해 상대 오차를 $|\hat{R}_k / R_k - 1|$ 으로 측정하고, 쌍별 거리에 대해 $\varepsilon_{\text{max}} = \max_i |D_K(x_i,y_i)/\|\hat{\phi}(x_i)-\hat{\phi}(y_i)\| - 1|$ 를 계산.

실험 결과

연구 질문

• RQ1 모든 $n$개의 점 쌍에 대해 $(1\pm\varepsilon)$-상대 오차를 확보하기 위해 필요한 최소 무작위 푸리에 특징 수는 얼마인가?
• RQ2 데이터 차원 $d$, 직경 $\mathcal{M}$, 및 $\varepsilon$ 에 따라 $n$ 이 무한대일 때 필요한 특징 차원은 어떻게 변화하는가?
• RQ3 매우 작은 $\|x-y\|$ 를 가진 점 쌍들 사이에서도 상대 오차가 균일하게 유지될 수 있는가?
• RQ4 실제 응용 예를 들어 커널 주성분 분석에서 대역폭 $\sigma$ 가 다양하고 특징 수 $t$ 가 증가함에 따라 상대 오차가 안정적인가?

주요 결과

• 모든 $n$개의 데이터 점에 대해, $O((1/\varepsilon^2)\log n)$ 차원의 RFF 공간이 $(1+\varepsilon)$-상대 오차를 달성하기 위해 충분하고 필수적이다.
• 모든 점이 $\mathbb{R}^d$ 에 있고 직경이 $\mathcal{M}$ 으로 유한할 때, $n$ 이 무한대일 경우 $O((d/\varepsilon^2)\log \mathcal{M})$ 차원이 충분하고 필요하며, $\log(1/\varepsilon)$ 요소를 제외한 날카운 성질을 가진다.
• 실험 결과, 커널 주성분 분석 잔차 오차의 상대 오차는 $t$ 에 대해 제곱적으로 감소하며, 다양한 $\sigma$ 값에서도 안정적이다.
• 최대 상대 오차 $\varepsilon_{\text{max}}$ 는 $\sqrt{t}$ 와 반비례로 변화하며, 이는 이론적 $O(1/\varepsilon^2)$ 의 의존성과 일치함을 확인한다.
• $\|x-y\|/\sigma \ll 1$ 인 경우에도 상대 오차가 작은 상수로 유한하게 유지됨을 보여, 고집합 상태에서의 강건성을 입증한다.
• 이론적 및 실험적 결과는 RFF가 내적 뿐 아니라 전체 커널 거리에 대해서도 날카운 상대 오차 근사를 제공함을 확인한다.