[논문 리뷰] Towards A Unified Analysis of Random Fourier Features

Zhu Li, Jean-François Ton외 2명|Research Portal (King's College London)|2018. 06. 24.

Sparse and Compressive Sensing Techniques참고 문헌 39인용 수 4

한 줄 요약

이 논문은 제곱 오차 및 리프시츠 연속 손실 함수를 사용한 랜덤 푸리에 특징을 위한 최초의 통합 위험 분석을 제시한다. 이는 정규화 및 효과적 자유도를 통한 계산 비용과 위험 수렴 속도 사이의 문제별 무역을 수립하며, 기존의 경계를 향상시키고, 리지 리거런스 스코어를 기반으로 한 데이터에 의존하는 샘플링 방법을 도입하며, 증명 가능한 효율적인 근사 방법을 제공한다.

ABSTRACT

Random Fourier features is a widely used, simple, and effective technique for scaling up kernel methods. The existing theoretical analysis of the approach, however, remains focused on specific learning tasks and typically gives pessimistic bounds which are at odds with the empirical results. We tackle these problems and provide the first unified risk analysis of learning with random Fourier features using the squared error and Lipschitz continuous loss functions. In our bounds, the trade-off between the computational cost and the expected risk convergence rate is problem specific and expressed in terms of the regularization parameter and the \emph{number of effective degrees of freedom}. We study both the standard random Fourier features method for which we improve the existing bounds on the number of features required to guarantee the corresponding minimax risk convergence rate of kernel ridge regression, as well as a data-dependent modification which samples features proportional to \emph{ridge leverage scores} and further reduces the required number of features. As ridge leverage scores are expensive to compute, we devise a simple approximation scheme which provably reduces the computational cost without loss of statistical efficiency.

연구 동기 및 목표

• 랜덤 푸리에 특징에서 낙관적인 이론적 경계와 강력한 경험적 성능 사이의 격차를 해소하기 위해.
• 다양한 학습 작업에 걸쳐 랜덤 푸리에 특징의 이론적 분석을 통합하기 위해.
• 계산 비용과 기대 위험 수렴 속도 사이의 문제별 무역을 도출하기 위해.
• 커널 리지 회귀의 최소 최대 위험 수렴을 위한 특징 수에 대한 경계를 향상시키기 위해.
• 통계적 효율성을 유지하면서 필요한 특징 수를 줄이는 데이터에 의존하는 샘플링 방법을 개발하기 위해.

제안 방법

• 제곱 오차 및 리프시츠 연속 손실 함수를 사용한 랜덤 푸리에 특징에 대한 통합 위험 분석 프레임워크를 제안한다.
• 정규화 파라미터와 효과적 자유도를 통한 계산 비용과 위험 수렴 속도 사이의 무역을 표현한다.
• 표준 랜덤 푸리에 특징 방법을 분석하고, 최소 최대 위험 수렴을 위한 특징 수에 대한 기존 경계를 향상시킨다.
• 리지 리거런스 스코어 비례로 특징을 샘플링하는 데이터에 의존하는 변형을 도입하여 특징 수를 줄인다.
• 리지 리거런스 스코어에 대한 증명 가능한 효율적인 근사 방법을 개발하여 계산 비용을 줄이되 통계적 성능을 손상시키지 않는다.
• 집중 불등식과 스펙트럼 분석을 사용하여 커널과 데이터 분포에 대한 약한 가정 하에 일반화 경계를 유도한다.

실험 결과

연구 질문

• RQ1 다양한 학습 작업에 걸쳐 랜덤 푸리에 특징에 대한 통합 이론적 분석을 어떻게 개발할 수 있는가?
• RQ2 랜덤 푸리에 특징 학습에서 계산 비용과 기대 위험 수렴 속도 사이의 정밀한 무역은 무엇인가?
• RQ3 커널 리지 회귀에서 최소 최대 위험 수렴을 유지하면서 필요한 특징 수를 줄일 수 있는가?
• RQ4 리지 리거런스 스코어를 기반으로 한 데이터에 의존하는 샘플링은 표준 i.i.d. 샘플링에 비해 특징 효율성을 어떻게 향상시키는가?
• RQ5 통계적 성능을 유지하면서 계산을 줄이는 데 효과적인 리지 리거런스 스코어의 근사 방법을 설계할 수 있는가?

주요 결과

• 논문은 커널 리지 회귀에서 최소 최대 위험 수렴 속도를 달성하기 위해 필요한 랜덤 푸리에 특징 수에 대한 기존 경계를 향상시켰다.
• 리지 리거런스 스코어를 기반으로 한 데이터에 의존하는 샘플링 방법은 표준 i.i.d. 샘플링에 비해 필요한 특징 수를 줄였다.
• 제안된 리지 리거런스 스코어 근사 방법은 통계적 효율성을 잃지 않으면서 계산 비용을 증명 가능한 방식으로 줄였다.
• 통합 위험 분석은 정규화 파라미터와 효과적 자유도를 통해 계산 비용과 위험 수렴 사이의 무역을 표현한다.
• 경험적 결과는 데이터에 의존하는 방법이 더 적은 특징으로 낮은 위험을 달성하며, 이는 이론적 예측과 일치함을 확인한다.