[논문 리뷰] Provably Useful Kernel Matrix Approximation in Linear Time.

Cameron Musco, Christopher Musco|arXiv (Cornell University)|2016. 05. 24.

Tensor decomposition and applications인용 수 5

한 줄 요약

이 논문은 커널 주성분 분석, k-평균, 리지 회귀, 공분산 분석(CCA)과 같은 후행 작업에 대해 증명 가능 보장을 갖춘 최초의 선형 시간 커널 행렬 근사 알고리즘을 제안한다. 리지 리버런스 스코어 니스트öm(Regressed Leverage Score Nyström, RLS-Nyström)을 위한 빠른 재귀적 샘플링 방법을 도입하여, 커널 평가 수를 $\tilde{O}(n \times k)$로, 실행 시간을 $\tilde{O}(n \times k^2)$로 줄였으며, 커널의 규칙성에 대한 가정이 없이도 성능을 확보한다.

ABSTRACT

We give the first algorithms for kernel matrix approximation that run in time linear in the number of data points and output an approximation which gives provable guarantees when used in many downstream learning tasks, including kernel principal component analysis, kernel $k$-means clustering, kernel ridge regression, and kernel canonical correlation analysis. Our methods require just $ ilde O(n\cdot k)$ kernel evaluations and $ ilde O(n \cdot k^2)$ additional runtime, where $n$ is the number of training data points and $k$ is a target rank or effective dimensionality parameter. These runtimes are significantly sub-linear in the size of the $n imes n$ kernel matrix and apply to any kernel matrix, without assuming regularity or incoherence conditions. The algorithms are based on a ridge leverage score Nystr\om sampling scheme (RLS-Nystr\om) which was recently shown to yield strong kernel approximations, but which had no efficient implementation. We address this shortcoming by introducing fast recursive sampling methods for RLS-Nystr\om, while at the same time proving extended approximation guarantees for this promising new method.

연구 동기 및 목표

• 데이터 크기와 선형적으로 스케일링되며, 효율적이고 증명 가능한 정확도를 갖춘 커널 행렬 근사 알고리즘이 부족한 문제를 해결하기 위해.
• 커널 행렬 구성의 계산 비용을 줄여 대규모 학습 환경에서 커널 방법의 실용적 구현을 가능하게 하기 위해.
• 커널의 규칙성 또는 비일관성 가정 없이도 RLS-Nyström 샘플링에 대한 이론적 보장을 제공하기 위해.
• 강력한 근사 품질을 유지하면서도 RLS-Nyström의 효율적 구현을 가능하게 하는 재귀적 샘플링 기법을 개발하기 위해.

제안 방법

• 커널 행렬 근사를 위한 앵커 포인트 선택에 리지 리버런스 스코어 니스트öm(Regressed Leverage Score Nyström, RLS-Nyström) 샘플링 기법을 사용한다.
• 선형 시간 내에 리지 리버런스 스코어를 효율적으로 계산하기 위해 재귀적 샘플링 전략을 도입한다.
• 알고리즘은 $\tilde{O}(n \times k)$개의 커널 평가와 $\tilde{O}(n \times k^2)$의 추가 계산을 수행하며, 데이터 크기에 대해 선형 실행 시간을 달성한다.
• 이 방법은 커널에 종속적이지 않으며, 비일관성 또는 규칙성 가정이 필요한 특정한 커널 행렬에도 적용 가능하다.
• 이론적 분석을 통해 RLS-Nyström의 근사 보장을 확장하여, 다양한 커널 학습 작업에서 뛰어난 성능을 보임을 입증한다.

실험 결과

연구 질문

• RQ1 강력한 이론적 보장과 함께 데이터 크기와 선형적으로 스케일링되는 커널 행렬 근사 알고리즘을 설계할 수 있는가?
• RQ2 근사 품질을 희생시키지 않고도 대규모 환경에서 리지 리버런스 스코어 니스트öm 샘플링을 효율적으로 구현할 수 있는가?
• RQ3 제안된 방법이 커널 주성분 분석 및 커널 리지 회귀와 같은 다양한 후행 커널 방법에 대해 증명 가능한 성능 보장을 제공하는가?
• RQ4 커널 행렬의 구조나 규칙성에 대한 가정 없이도 이 알고리즘이 임의의 커널 행렬에 적용 가능한가?

주요 결과

• 제안된 알고리즘은 $\tilde{O}(n \times k)$개의 커널 평가와 $\tilde{O}(n \times k^2)$의 실행 시간을 달성하여 데이터 포인트 수에 대해 선형적으로 스케일링된다.
• 이 방법은 커널 주성분 분석, 커널 $k$-평균, 커널 리지 회귀, 커널 CCA에 대해 증명 가능한 근사 보장을 제공한다.
• 재귀적 샘플링 기법은 리지 리버런스 스코어의 효율적 계산을 가능하게 하여 RLS-Nyström 구현의 핵심 장애 요소를 해결한다.
• 이 접근법은 비일관성 또는 규칙성 조건 없이도 임의의 커널 행렬에 일반적으로 적용 가능하다.