[논문 리뷰] Recursive Sampling for the Nyström Method

Cameron Musco, Christopher Musco|arXiv (Cornell University)|2017. 01. 01.

Model Reduction and Neural Networks인용 수 83

한 줄 요약

이 논문은 정규성 또는 비일관성 가정 없이도 증명 가능하게 정확한 커널 근사화를 가능하게 하는 선형 시간 Nystr"{o}m 방법을 제안한다. 이는 릿지 리지드 레버리지 스코어의 재귀적 샘플링을 사용한다. 기존의 Nystr"{o}m 및 무작위 푸리에 특징과 비교해 커널 평가를 O(ns)로 줄이고 런타임을 O(ns^2)로 줄여 더 높은 정확도와 속도를 달성한다.

ABSTRACT

We give the first algorithm for kernel Nystrom approximation that runs in linear time in the number of training points and is provably accurate for all kernel matrices, without dependence on regularity or incoherence conditions. The algorithm projects the kernel onto a set of s landmark points sampled by their ridge leverage scores, requiring just O(ns) kernel evaluations and O(ns^2) additional runtime. While leverage score sampling has long been known to give strong theoretical guarantees for Nystrom approximation, by employing a fast recursive sampling scheme, our algorithm is the first to make the approach scalable. Empirically we show that it finds more accurate kernel approximations in less time than popular techniques such as classic Nystrom approximation and the random Fourier features method.

연구 동기 및 목표

• 커널의 정규성 또는 비일관성과 같은 제한적인 가정에 의존하지 않는 증명 가능하게 정확한 스케일러블한 Nystr"{o}m 방법의 부족을 해결한다.
• 이론적 보장을 유지하면서 대규모 데이터셋에 효율적으로 스케일링할 수 있는 실용적인 알고리즘을 개발한다.
• 기존의 리지드 레버리지 스코어 샘플링이 커널 근사화에서 계산적으로 비현실적인 문제를 해결하기 위해 재귀적 샘플링 기반의 전략을 도입한다.
• 기본 Nystr"{o}m 및 무작위 푸리에 특징과 같은 기존 방법보다 정확도와 런타임 효율성 측면에서 향상된 성능을 달성한다.

제안 방법

• Nystr"{o}m 근사화에 대해 강력한 이론적 보장을 제공하는 것으로 알려진 릿지 리지드 레버리지 스코어를 사용해 s개의 랜드마크 포인트를 샘플링한다.
• 전체 SVD나 고비용 행렬 연산이 필요 없도록 효율적인 릿지 리지드 레버리지 스코어 계산을 위해 재귀적 샘플링 전략을 활용한다.
• 선택된 랜드마크 포인트에 대해 커널 행렬을 투영함으로써 문제 크기를 줄이면서도 근사 품질을 유지한다.
• 커널 평가를 O(ns)로 제한하고 추가 계산을 O(ns^2)로 제한하여 훈련 포인트 수에 대해 선형 시간 복잡도를 달성한다.
• 정확도를 유지하면서 계산 오버헤드를 최소화하기 위해 샘플링 과정에서 반복적 정밀도 향상 기법을 사용한다.
• 모든 커널 행렬에 대해 정확성이 유지됨을 증명함으로써 이론적 정확성을 확보한다.

실험 결과

연구 질문

• RQ1 정규성 가정 없이도 대규모 커널 근사화에 대해 릿지 리지드 레버리지 스코어 샘플링을 확장 가능한 방식으로 구현할 수 있는가?
• RQ2 릿지 리지드 레버리지 스코어의 재귀적 샘플링은 기존 방법과 비교해 더 빠르고 정확한 Nystr"{o}m 근사화를 이끌 수 있는가?
• RQ3 정규성 또는 비일관성 조건을 위반하는 커널 행렬을 포함한 모든 커널 행렬에 대해 선형 시간 복잡도를 달성하면서도 정확성을 유지할 수 있는가?
• RQ4 제안된 방법은 런타임과 근사 오차 측면에서 기존의 Nystr"{o}m 및 무작위 푸리에 특징과 비교해 실증적으로 어떻게 성능을 냈는가?

주요 결과

• 제안된 알고리즘은 훈련 포인트 수에 대해 선형 시간 O(ns)에 실행되어 대규모 데이터셋에 대해 확장 가능하다.
• 정규성 또는 비일관성 가정 없이도 모든 커널 행렬에 대해 증명 가능하게 정확한 커널 근사화를 달성한다.
• 커널 평가를 O(ns)로 줄여 전체 행렬 계산에 비해 계산 비용을 크게 낮춘다.
• 실증 결과에 따르면, 알고리즘이 기본 Nystr"{o}m 및 무작위 푸리에 특징보다 더 정확한 커널 근사화를 생성한다.
• 재귀적 샘플링 기반 전략은 릿지 리지드 레버리지 스코어의 효율적 계산을 가능하게 하여 이론적으로 최적의 샘플링을 대규모 학습에 실용적으로 적용할 수 있게 한다.
• 알고리즘은 속도와 정확도 양면에서 기존 접근법을 초월하여 강력한 실용적 유용성을 입증한다.