[논문 리뷰] Fast Randomized Kernel Methods With Statistical Guarantees

A. El Alaoui, Michael W. Mahoney|arXiv (Cornell University)|2014. 11. 02.

Stochastic Gradient Optimization Techniques참고 문헌 16인용 수 55

한 줄 요약

이 논문은 효과적 차원수 $d_{\text{eff}}$로 샘플링 복잡도를 감소시키기 위해 통계적 리버리지 스코어의 새로운 변형을 사용하는 빠른 랜덤화 커널 방법을 제안한다. 이 방법은 $O(np^2)$ 시간 내에 이러한 스코어의 근사값을 계산함으로써 기존의 최대 자유도 $d_{\text{mof}}$에 의존하는 접근 방식보다 더 적은 열을 사용하여 향상된 통계적 보장을 달성한다. 이는 종종 $d_{\text{eff}} \ll d_{\text{mof}}$를 초래한다. 이 방법은 더 빠른 계산과 더 날카운 통계적 일반화 경계를 유지하면서도 거의 최적의 예측 성능를 유지한다.

ABSTRACT

One approach to improving the running time of kernel-based machine learning methods is to build a small sketch of the input and use it in lieu of the full kernel matrix in the machine learning task of interest. Here, we describe a version of this approach that comes with running time guarantees as well as improved guarantees on its statistical performance. By extending the notion of \emph{statistical leverage scores} to the setting of kernel ridge regression, our main statistical result is to identify an importance sampling distribution that reduces the size of the sketch (i.e., the required number of columns to be sampled) to the \emph{effective dimensionality} of the problem. This quantity is often much smaller than previous bounds that depend on the \emph{maximal degrees of freedom}. Our main algorithmic result is to present a fast algorithm to compute approximations to these scores. This algorithm runs in time that is linear in the number of samples---more precisely, the running time is $O(np^2)$, where the parameter $p$ depends only on the trace of the kernel matrix and the regularization parameter---and it can be applied to the matrix of feature vectors, without having to form the full kernel matrix. This is obtained via a variant of length-squared sampling that we adapt to the kernel setting in a way that is of independent interest. Lastly, we provide empirical results illustrating our theory, and we discuss how this new notion of the statistical leverage of a data point captures in a fine way the difficulty of the original statistical learning problem.

연구 동기 및 목표

• Nystr\
• 기존의 최고 성능 기준인 최대 자유도 $d_{\text{mof}}$ 이하로 Nystr\
• 커널 리지 회귀에 특화된 새로운 $\lambda$-리지 리버리지 스코어의 개념을 도입하여 학습의 통계적 난이도를 더 잘 반영한다.
• 샘플 수에 선형적인 시간 복잡도를 갖는 빠른 알고리즘을 개발하여 $O(np^2)$ 시간 내에 이러한 리버리지 스코어의 근사값을 계산한다. 여기서 $p$는 커널 행렬의 추적과 정규화 파라미터에만 의존한다.
• 이 분포를 사용해 $O(d_{\text{eff}}/\epsilon)$개의 열을 샘플링할 경우 $1+\epsilon$의 통계적 성능 보장을 달성함을 보여주며, 이는 균일 샘플링보다 향상된 성능 보장을 제공한다.

제안 방법

• 정규화된 커널 행렬의 투영 행렬에서 유도된 커널 리지 회귀를 위한 새로운 통계적 리버리지 스코어 변형—$\lambda$-리지 리버리지 스코어를 정의한다.
• Nystr\
• 제안된 알고리즘은 제곱 길이 샘플링을 커널 설정에 적응시킨 빠른 알고리즘으로, $O(np^2)$ 시간 내에 $\lambda$-리지 리버리지 스코어의 근사값을 계산한다.
• 근사 리버리지 스코어를 비균일 샘플링 분포로 사용하여 Nystr\
• 이론적 보장을 입증하여, 결과로 얻어진 저랭크 근사가 전체 커널 행렬 대비 예측 위험에서 $1+\epsilon$ 상대 오차를 달성함을 보였다.
• 합성 및 실질 데이터셋에서 방법을 실험적으로 검증하였으며, $d_{\text{eff}} \ll d_{\text{mof}}$임을 확인하였고, $p = O(d_{\text{eff}})$일 때 위험 비율이 거의 1에 가까움을 보였다.

실험 결과

연구 질문

• RQ1 Nystr\
• RQ2 커널 리지 회귀에서 Nystr\
• RQ3 커널 리지 회귀에서 기존 측정치보다 학습 문제의 본질적 유량을 더 잘 반영하는 통계적 리버리지 유사 척도가 존재하는가?
• RQ4 이러한 리버리지 스코어는 샘플 수에 선형적인 시간 복잡도로 효율적으로 계산될 수 있는가? 이는 높은 계산 오버헤드 없이 가능할까?
• RQ5 이 새로운 리버리지 스코어를 샘플링 분포로 사용할 경우, 균일 샘플링보다 향상된 통계적 성능 보장을 달성할 수 있는가?
• RQ6 효과적 차원수 $d_{\text{eff}}$는 정확한 Nystr\

주요 결과

• 제안된 방법은 $d_{\text{eff}} \ll d_{\text{mof}}$일 경우 Bach(2013)의 $O(d_{\text{mof}}/\epsilon)$ 기준보다 훨씬 우수한 $O(d_{\text{eff}}/\epsilon)$의 열 수로 $1+\epsilon$ 통계적 성능 보장을 달성한다.
• 실험 결과 $d_{\text{eff}}$는 종종 $d_{\text{mof}}$보다 훨씬 작으며, Pumadyn 데이터셋의 RBF 커널에서 비율이 최대 $d_{\text{eff}}/d_{\text{mof}} \approx 0.048$까지 나타났다.
• 모든 테스트 데이터셋에서 $p = 2d_{\text{eff}}$일 때 위험 비율 $\mathcal{R}(\hat{f}_L)/\mathcal{R}(\hat{f}_K)$가 전체 커널 성능에 비해 1.01–1.10 범위 내에 머물렀으며, 이는 이론적 보장을 확인한다.
• 알고리즘은 $O(np^2)$ 시간 내에 근사 $\lambda$-리지 리버리지 스코어를 계산하며, $p$는 커널 행렬의 추적과 정규화 파라미터에만 의존하므로 확장성이 뛰어나다.
• 합성 베르누이 데이터셋에서 $\lambda$-리지 리버리지 스코어는 중심부와 같은 구조적으로 중요한 영역(예: 간격의 중심)을 성공적으로 식별하였다. 이는 중요한 점을 탐지할 수 있음을 보여준다.
• Pumadyn 및 가스 센서 데이터셋의 RBF 커널에서, $p = d_{\text{eff}}$일 때 위험 비율이 0.99–1.00을 기록하여 최소한의 샘플링으로 거의 최적의 성능를 달성함을 보였다.