[논문 리뷰] On Kernel Derivative Approximation with Random Fourier Features

Zoltán Szabó, Bharath K. Sriperumbudur|arXiv (Cornell University)|2018. 10. 11.

Neural Networks and Applications참고 문헌 29인용 수 5

한 줄 요약

이 논문은 커널 도함수를 근사하는 데 있어 랜덤 푸리에 특징(RFF)에 대한 최초의 유한표본 보장을 수립하며, RFF가 커널 값 근사와 동일한 근사 정확도를 도함수 근사에서도 달성함을 증명한다. 비유한 경험 과정 이론을 활용하여, 근사 유효 도메인을 지수적으로 확장할 수 있음을 보이며, RFF가 도함수 기반 커널 학습 작업에서 최적의 효율성을 가짐을 입증한다.

ABSTRACT

Random Fourier features (RFF) represent one of the most popular and wide-spread techniques in machine learning to scale up kernel algorithms. Despite the numerous successful applications of RFFs, unfortunately, quite little is understood theoretically on their optimality and limitations of their performance. Only recently, precise statistical-computational trade-offs have been established for RFFs in the approximation of kernel values, kernel ridge regression, kernel PCA and SVM classification. Our goal is to spark the investigation of optimality of RFF-based approximations in tasks involving not only function values but derivatives, which naturally lead to optimization problems with kernel derivatives. Particularly, in this paper, we focus on the approximation quality of RFFs for kernel derivatives and prove that the existing finite-sample guarantees can be improved exponentially in terms of the domain where they hold, using recent tools from unbounded empirical process theory. Our result implies that the same approximation guarantee is attainable for kernel derivatives using RFF as achieved for kernel values.

연구 동기 및 목표

• 최적화 및 기울기 관련 학습 작업에서 핵심적인 역할을 하는 커널 도함수 근사에서 RFF 성능에 대한 이론적 이해 부족 문제를 해결하기 위해.
• 경험 과정 이론의 고급 도구를 활용하여 커널 값의 유한표본 근사 보장에서 커널 도함수로의 확장을 도모하기 위해.
• RFF 기반 커널 도함수 근사가 커널 값 근사의 성능 경계와 동일하게 유지됨을 입증하여 이론적 최적성을 확보하기 위해.
• 특히 RFF를 고려할 때 도함수 기반 커널 방법에서의 통계-계산적 트레이드오프를 탐구하기 위해.

제안 방법

• 저자들은 커널 도함수에 대한 RFF 근사 오차를 분석하기 위해 비유한 경험 과정 이론을 사용하며, 컴acts 도메인에서 $L^r$-노름 수렴에 중점을 둔다.
• 균일 노름과 도메인의 기하적 성질과의 관계를 통해 RFF 근사에 대한 $L^r$-노름 오차의 일반적 경계를 유도한다.
• 이 방법은 커널의 푸리에 변환의 모멘트 생성 함수 분석을 포함하며, 준가우시안 유사 행동을 위한 베르누이 조건을 활용한다.
• 가우시안 커널의 경우, $r=1,2$에 대해 베르누이 조건을 검증하고, 명시적인 상수를 포함한 필요한 모멘트 조건이 성립함을 보였다.
• 스티르링의 근사법과 渐近 분석을 사용하여 $r=3,4$에 대해 베르누이 조건의 타당성을 평가하였으며, 특정 팩토리얼의 더 빠른 성장으로 인해 고차수에서는 실패함을 보였다.
• 이론적 프레임워크는 이전 결과 대비 근사 보장이 유지되는 도메인 크기에서 지수적 향상을 가능하게 한다.

실험 결과

연구 질문

• RQ1 RFF는 커널 값 근사와 동일한 유한표본 근사 보장을 커널 도함수 근사에서도 달성할 수 있는가?
• RQ2 RFF를 사용한 커널 도함수 근사에서의 통계-계산적 트레이드오프는 무엇인가?
• RQ3 RFF 샘플링 하에서 경험 과정 경계에 필수적인 베르누이 조건이 커널 도함수에 대해 성립하는가?
• RQ4 커널 도함수 근사에서 RFF의 근사 유효 도메인을 상당히 확장할 수 있는가?
• RQ5 커널의 푸리에 변환에 대한 모멘트 조건은 도함수 근사에서 RFF 수렴에 어떤 영향을 미치는가?

주요 결과

• 논문은 RFF가 커널 값 근사와 동일한 유한표본 오차 경계를 도함수 근사에서도 달성할 수 있음을 증명하며, 이론적 최적성을 확립한다.
• 비유한 경험 과정 이론을 활용하여, 이전 작업 대비 근사 보장이 유지되는 도메인 크기에서 지수적 향상을 달성한다.
• 가우시안 커널의 경우, $r=1$ 및 $r=2$에 대해 베르누이 조건을 검증하여 RFF 근사 오차의 타당한 농도 경계를 확보하였다.
• $r=3$ 및 $r=4$의 경우, 특정 팩토리얼의 더 빠른 성장으로 인해 渐近적으로 베르누이 조건이 실패함을 보이며, 고차수 근사의 한계를 시사한다.
• $L^r$-노름 근사 오차는 균일 노름과 도메인의 기하 측도를 포함하는 항에 의해 경계지며, 이는 도메인 기반 오차 제어를 가능하게 한다.
• 결과적으로 RFF는 계산적으로 효율적일 뿐 아니라 도함수 기반 커널 학습 작업에서 통계적으로도 최적임을 시사한다.