[논문 리뷰] Random Fourier Features for Kernel Ridge Regression: Approximation Bounds and Statistical Guarantees

Haim Avron, Michael Kapralov외 4명|arXiv (Cornell University)|2018. 04. 26.

Sparse and Compressive Sensing Techniques참고 문헌 17인용 수 27

한 줄 요약

이 논문은 커널 리지 회귀(KRR)를 위한 무작위 푸리에 기능(RFF)에 대한 첫 번째 스펙트럼 근사 분석을 제공하며, 합리적인 가정 하에 RFF가 KRR를 증명 가능하게 가속화할 수 있음을 보여준다. 또한 균일한 무작위 기능이 아닌 커널 리지징 스코어 기반 분포에서 샘플링할 경우, 특히 저차원 유계 데이터셋에서 더 우수한 이론적 보장을 얻을 수 있음을 입증하며, 가우스 커널에 대해 거의 완전한 특성화를 제공하고 표준 RFF보다 뛰어난 효율적인 샘플링 기법을 제안한다.

ABSTRACT

Random Fourier features is one of the most popular techniques for scaling up kernel methods, such as kernel ridge regression. However, despite impressive empirical results, the statistical properties of random Fourier features are still not well understood. In this paper we take steps toward filling this gap. Specifically, we approach random Fourier features from a spectral matrix approximation point of view, give tight bounds on the number of Fourier features required to achieve a spectral approximation, and show how spectral matrix approximation bounds imply statistical guarantees for kernel ridge regression. Qualitatively, our results are twofold: on the one hand, we show that random Fourier feature approximation can provably speed up kernel ridge regression under reasonable assumptions. At the same time, we show that the method is suboptimal, and sampling from a modified distribution in Fourier space, given by the leverage function of the kernel, yields provably better performance. We study this optimal sampling distribution for the Gaussian kernel, achieving a nearly complete characterization for the case of low-dimensional bounded datasets. Based on this characterization, we propose an efficient sampling scheme with guarantees superior to random Fourier features in this regime.

연구 동기 및 목표

• 강력한 경험적 성능에도 불구하고 아직 잘 이해되지 않은 무작위 푸리에 기능(RFF)의 통계적 및 알고리즘적 성질을 이해하기 위해.
• 스펙트럼 행렬 근사 관점에서 RFF를 분석하여, 커널 행렬의 스펙트럼 근사를 달성하기 위해 필요한 기능 수를 집중적으로 다루기 위해.
• 합리적인 가정 하에 RFF가 KRR를 증명 가능하게 가속화할 수 있음을 보이며, 同시에 그 불완전성도 규명하기 위해.
• 표준 RFF보다 더 나은 이론적 성능을 보이는 커널의 리지징 스코어 기반 개선된 샘플링 분포를 제안하고 분석하기 위해.
• 저차원 유계 데이터셋에서 가우스 커널에 대한 최적의 샘플링 분포를 거의 완전히 특성화하여 실용적이고 증명 가능한 우수한 샘플링 기법을 도출하기 위해.

제안 방법

• 논문은 스펙트럼 행렬 근사의 관점에서 RFF를 분석하여, 정규화된 커널 행렬 $\mathbf{K} + \lambda \mathbf{I}$의 스펙트럼 근사를 달성하기 위해 필요한 기능 수에 대한 경계를 설정한다.
• 스펙트럼 근사 보장을 보장하기 위해 $ (1 - \Delta)(\mathbf{K} + \lambda \mathbf{I}) \preceq \widetilde{\mathbf{K}} + \lambda \mathbf{I} \preceq (1 + \Delta)(\mathbf{K} + \lambda \mathbf{I}) $를 만족시키기 위해 필요한 기능 수 $s$에 대한 상한과 하한을 유도한다. 이는 직접적으로 KRR의 통계적 보장을 이끌어낸다.
• 커널의 리지징 함수에서 유도된 수정된 푸리에 공간 내 샘플링 분포를 도입하여 근사 품질을 향상시킨다.
• 가우스 커널의 경우, 저차원 유계 데이터 환경에서 최적의 리지징 기반 샘플링 분포에 대한 거의 완전한 특성화를 제공한다.
• 이 특성화를 바탕으로 표준 RFF보다 더 나은 스펙트럼 근사와 낮은 추정기 위험을 달성하는 효율적인 샘플링 기법을 제안한다.
• 이론적 결과는 합성 및 실질 데이터셋에서의 경험적 검증을 통해 지지되며, 위험, 내측 오차, 조건수 측면에서 RFF, 제안된 방법(MRF), 정확한 KRR 간의 비교를 포함한다.

실험 결과

연구 질문

• RQ1 커널 리지 회귀에서 정규화된 커널 행렬의 스펙트럼 근사를 달성하기 위해 얼마나 많은 무작위 푸리에 기능이 필요한가?
• RQ2 커널 행렬에 대한 스펙트럼 근사 경계를 사용하여 KRR 추정기의 통계적 보장을 도출할 수 있는가?
• RQ3 표준 무작위 푸리에 기능 샘플링은 비최적일 수 있으며, 만약 그렇다면 더 나은 샘플링 분포를 구성할 수 있는가?
• RQ4 특히 가우스 커널에 대해 커널의 리지징 스코어 기반 샘플링 기법의 이론적 성능은 어떠한가?
• RQ5 정규화된 커널 행렬 쌍 $ (\mathbf{K} + \lambda \mathbf{I}, \widetilde{\mathbf{K}} + \lambda \mathbf{I}) $의 일반화된 조건수와 추정기 품질 간의 관계는 무엇이며, 항목별 오차보다 성능 예측에 더 나은가?

주요 결과

• 논문은 정규화된 커널 행렬의 스펙트럼 근사를 달성하기 위해 필요한 무작위 푸리에 기능 수에 대한 상한을 확립하며, 이는 커널 리지 회귀의 통계적 보장을 보장한다.
• 가우스 커널에 대해 이 상한과 일치하는 하한을 증명하여 상한이 로그 인자 외에는 정확하게 타이트함을 보여준다.
• 제안된 방법(MRF)은 커널의 리지징 스코어에 따라 기능을 샘플링하며, 표준 RFF보다 훨씬 낮은 초과 위험을 달성한다. 이는 RFF가 더 나은 항목별 근사 오차를 보일지라도 마찬가지다.
• 경험적 결과는 MRF의 위험이 정확한 KRR 위험으로 신속하게 수렴하는 반면, RFF의 위험은 $ s > n $ 일지라도 정체됨을 보여준다.
• 정규화된 행렬 쌍 $ (\mathbf{K} + \lambda \mathbf{I}, \widetilde{\mathbf{K}} + \lambda \mathbf{I}) $의 일반화된 조건수는 추정기 품질의 강력한 예측자이며, MRF는 항상 RFF보다 낮은 조건수를 달성한다.
• 저차원 유계 데이터셋에서 가우스 커널에 대해 최적의 리지징 기반 샘플링 분포를 거의 완전히 특성화하였으며, 이는 실용적이고 증명 가능한 뛰어난 샘플링 기법을 가능하게 한다.