[논문 리뷰] On the Error of Random Fourier Features

Danica J. Sutherland, Jeff Schneider|arXiv (Cornell University)|2015. 06. 09.

Gaussian Processes and Bayesian Inference참고 문헌 24인용 수 37

한 줄 요약

이 논문은 무작위 푸리에 특징의 근사 오차에 대한 엄밀한 분석을 제공하며, 균일 오차 한계를 개선하고, 더 널리 사용되는 $\tilde{z}$ 임bedding(正弦 및余弦 쌍을 포함)이 가우시안 커널에 대해 $\breve{z}$ (위상 이동된 코시누스를 포함)보다 엄격히 낮은 분산을 가짐을 드러낸다. 저자들은 더 날카운트된 농도 경계를 유도하고, $O(1/\sqrt{D})$ 수렴 속도를 확립하며, 실증적으로 $\tilde{z}$가 실제 적용에서 더 뛰어난 근사 품질과 더 빠른 수렴을 제공함을 검증한다.

ABSTRACT

Kernel methods give powerful, flexible, and theoretically grounded approaches to solving many problems in machine learning. The standard approach, however, requires pairwise evaluations of a kernel function, which can lead to scalability issues for very large datasets. Rahimi and Recht (2007) suggested a popular approach to handling this problem, known as random Fourier features. The quality of this approximation, however, is not well understood. We improve the uniform error bound of that paper, as well as giving novel understandings of the embedding's variance, approximation error, and use in some machine learning methods. We also point out that surprisingly, of the two main variants of those features, the more widely used is strictly higher-variance for the Gaussian kernel and has worse bounds.

연구 동기 및 목표

• 이동 불변 커널에 대한 무작위 푸리에 특징 근사의 오차에 대한 종합적인 이론적 분석을 제공하는 것.
• 무작위 푸리에 특징의 두 주요 변형인 $\tilde{z}$와 $\breve{z}$ 간의 분산, 근사 오차, 수렴 성질을 비교하는 것.
• 라히미와 레이크트(2007)의 균일 오차 한계를 개선하여 상수를 더욱 날카워지고, 새로운 지수 농도 경계를 제공하는 것.
• 근사 오차가 커널 리지 회귀 및 최대 평균 차이(MMD) 추정과 같은 후행 기계 학습 방법에 미치는 영향을 평가하는 것.
• 이론적 결과를 실증적으로 검증하고, 덜 널리 쓰이지만 가우시안 커널에 있어 $\tilde{z}$가 더 뛰어나다는 것을 보여주는 것.

제안 방법

• 커널의 푸리에 변환의 특성 함수와 보처의 정리를 사용하여 무작위 푸리에 특징 근사의 분산을 유도한다.
• 맥디어미드 부등식을 통해 균일 오차 한계를 확립하고, 이전 연구보다 더 날카운트한 상수를 제공하며, 최대 오차의 평균 주변에서의 지수 농도를 증명한다.
• $L_2$ 수렴을 근사 오차에 대해 분석하여, 가우시안 커널에 대해 $\tilde{z}$가 더 낮은 기대 오차를 가짐을 보인다.
• 수치 적분을 사용하여 기대 최대 오차에 대한 이론적 한계를 평가하고, 이를 실증 결과와 비교한다.
• 다양한 임베딩 차원 $D$에서 커널 리지 회귀와 MMD 추정에 대한 실증 평가를 통해 $\tilde{z}$와 $\breve{z}$의 성능을 비교한다.
• 평균 제곱오차에 맥디어미드 경계를 적용하고, 오차의 실증 감쇠 속도를 이론적 예측과 비교한다.

실험 결과

연구 질문

• RQ1 가우시안 커널에 대해 두 무작위 푸리에 특징 변형 중 어느 것이 더 낮은 분산을 가지는가? ($\tilde{z}$ 또는 $\breve{z}$)
• RQ2 무작위 푸리에 특징의 균일 오차 한계를 더욱 날카워질 수 있으며, 일반화에 어떤 영향을 미치는가?
• RQ3 무작위 푸리에 특징의 근사 오차는 커널 리지 회귀 및 MMD 추정과 같은 후행 학습 방법의 성능에 어떻게 영향을 미치는가?
• RQ4 기대 최대 오차의 진정한 수렴 속도는 무엇이며, 이론적 경계와 비교해보면 어떠한가?
• RQ5 임베딩 변형의 선택이 오차의 실증 감쇠 속도에 영향을 미치는가? 만약 그렇다면, 어떤 것이 더 빨리 수렴하는가?

주요 결과

• $\tilde{z}$ 임베딩은 가우시안 커널에 대해 $\breve{z}$보다 엄격히 낮은 분산을 가지며, 이는 근사 품질 측면에서 더 뛰어나다는 것을 의미한다.
• 논문은 라히미와 레이크트(2007)의 균일 오차 한계를 개선하여 상수를 더욱 날카워지고, 최대 오차에 대한 지수 농도 경계를 제공한다.
• $\tilde{z}$의 기대 $L_2$ 오차는 $O(1/D)$이며, $\breve{z}$의 경우도 $O(1/D)$이지만 상수는 더 크므로 $\tilde{z}$의 우월성이 확인된다.
• 실증 평가 결과, 기대 최대 오차는 $O(1/\sqrt{D})$로 감쇠하며, 두 임베딩 모두에 대해 이론적 예측과 일치하는 기울기를 보인다.
• MMD 추정의 평균 절대 오차는 $O(1/\sqrt{D})$로 감쇠하며, 실증 지수는 $-0.5$에 가까워 이론적 수렴 속도를 확인한다.
• 맥디어미드 경계는 감쇠 속도의 배수 상수를 과대평가하지만, 실증 감쇠는 이론적 $O(1/\sqrt{D})$ 스케일링과 일치한다.