[논문 리뷰] Optimal Rates for Random Fourier Features

Bharath K. Sriperumbudur, Zoltán Szabó|arXiv (Cornell University)|2015. 06. 06.

Generative Adversarial Networks and Image Synthesis참고 문헌 37인용 수 49

한 줄 요약

이 논문은 이동 불변 커널을 근사하는 데 사용되는 랜덤 푸리에 특징(RFF)에 대한 유한 표본, 최적 수렴 속도 이론적 분석을 처음으로 제공한다. RFF가 컴act 집합 위에서 균일 노름에서 최적의 수렴 속도 $ m^{-1/2} $ 를 달성하며, $ L^r $ 노름에서의 보장을 제공하고, 도함수 근사에 대한 이론적 경계를 분석한다.

ABSTRACT

Kernel methods represent one of the most powerful tools in machine learning to tackle problems expressed in terms of function values and derivatives due to their capability to represent and model complex relations. While these methods show good versatility, they are computationally intensive and have poor scalability to large data as they require operations on Gram matrices. In order to mitigate this serious computational limitation, recently randomized constructions have been proposed in the literature, which allow the application of fast linear algorithms. Random Fourier features (RFF) are among the most popular and widely applied constructions: they provide an easily computable, low-dimensional feature representation for shift-invariant kernels. Despite the popularity of RFFs, very little is understood theoretically about their approximation quality. In this paper, we provide a detailed finite-sample theoretical analysis about the approximation quality of RFFs by (i) establishing optimal (in terms of the RFF dimension, and growing set size) performance guarantees in uniform norm, and (ii) presenting guarantees in $L^r$ ($1\le r

연구 동기 및 목표

• 랜덤 푸리에 특징(RFF)의 근사 품질에 대한 이론적 격차를 메우기 위해, 널리 사용되지만 유한 표본 설정에서는 잘 이해되지 않는 RFF의 이론적 이해를 끝내기 위해.
• 이전 연구에서 날카로운 유한 표본 경계가 부족했던 점을 해결하기 위해, RFF의 균일 노름에서 최적의 수렴 속도를 확립하기 위해.
• 균일 노름을 넘어서 분석을 확장하기 위해, 학습 알고리즘의 일반화에 더 관련성이 있는 $ 1 \leq r < \infty $ 에 대해 $ L^r $ 노름에서의 근사 보장을 제공하기 위해.
• RFF를 사용한 커널 함수 도함수 근사에 대한 이론적 프레임워크를 개발하고, 명시적 오차 경계를 제공하기 위해.
• 컴act 집합의 지름이 $ e^{o(m)} $ 보다 느리게 증가하는 한, RFF 근사 오차의 거의 확실 수렴이 달성 가능하다는 것을 보여주기 위해.

제안 방법

• 커널의 스펙트럴 측도의 푸리에 적분을 경험적으로 근사하여, 보처의 정리를 활용해 명시적인 RFF 매핑을 구성한다.
• 맥디아미드 부등식을 사용하여 균일 노름에서 RFF 근사 오차의 고확률 농도 경계를 유도한다.
• 베르누이의 부등식을 적용하여 경험적 특성 함수의 尾행동을 제어하고, 유한 표본 분석을 가능하게 한다.
• 유한 표본 분석을 위해, 컴act 집합 위의 보렐 $\sigma$-대부분집합의 분리 가능성을 활용하여 $ L^r $ 노름의 근사 오차를 이중 공간 $ L^{ ilde{r}} $ 과 연결함으로써 경계를 설정하는 새로운 기법을 도입한다.
• 특징 매핑의 도함수와 그 기대값을 분석하여 RFF를 통한 커널 도함수 근사 오차에 대한 경계를 유도한다.
• 경험 과정 이론과 특성 함수 이론의 결과를 결합하여 최적의 수율, 특히 날카로운 $ m^{-1/2} $ 수율을 확립한다.

실험 결과

연구 질문

• RQ1 컴act 집합에 대해 랜덤 푸리에 특징(RFF)의 균일 노름에서 최적의 유한 표본 수렴 속도는 무엇인가?
• RQ2 이전 연구에 비해 더 날카롭고 최적의 유한 표본 경계를 RFF 근사 오차에 대해 확립할 수 있는가?
• RQ3 $ L^r $ 노름에서 RFF의 근사 오차 보장은 무엇이며, 균일 노름 경계와 비교해보면 어떻게 되는가?
• RQ4 RFF는 이동 불변 커널의 도함수를 얼마나 잘 근사할 수 있으며, 어떤 이론적 오차 경계가 존재하는가?
• RQ5 RFF 근사 오차의 거의 확실 수렴이 성립하는 도메인 크기 조건은 무엇인가?

주요 결과

• 논문은 RFF의 균일 노름 근사 오차에 대해 최적의 수렴 속도 $ m^{-1/2} $ 를 확립하였으며, 경험적 특성 함수 이론에서 유도된 이론적 하한값과 일치한다.
• 모든 $ m $ 에 대해 고확률로 성립하는 균일 오차 $ A_m $ 의 유한 표본 확률 경계를 제공하며, 컴act 집합 $ \mathscr{S} $ 의 지름이 $ e^{o(m)} $ 보다 느리게 증가하는 한 거의 확실 수렴을 보장한다.
• 모든 $ 1 \leq r < \infty $ 에 대해 $ L^r $ 노름 근사 보장을 도출하였으며, 이 노름에서도 RFF 근사 오차가 최적의 속도 $ m^{-1/2} $ 로 감소함을 보였다.
• 커널 도함수의 경우, RFF 기반 도함수 추정기의 근사 오차에 대한 이론적 경계를 제공하였으며, 오차가 여전히 최적의 $ m^{-1/2} $ 속도로 감소함을 보였다.
• 분석 결과, RFF 방법이 다양한 함수 노름 공간에서 최적의 근사 품질을 달성함을 확인하였으며, 이는 스케일러블 커널 방법에서의 활용을 정당화한다.
• 결과적으로, RFF가 유한 표본 설정에서도 균일 노름과 $ L^r $ 노름에서 가능한 최고의 수렴 속도를 달성함을 보여줌으로써 오랫동안 남아있던 이론적 격차를 해결하였다.