[논문 리뷰] Distributed Adaptive Sampling for Kernel Matrix Approximation

Daniele Calandriello, Alessandro Lazaric외 1명|arXiv (Cornell University)|2018. 03. 27.

Gaussian Processes and Bayesian Inference참고 문헌 5인용 수 3

한 줄 요약

이 논문은 비정규화된 리지 리버러지 스코어(RLS)를 사용하여 대표적인 점들의 작고 정확한 사전(dictionary)을 구성함으로써, 커널 행렬 근사에 대한 새로운 분산 적응형 샘플링 알고리즘인 SQUEAK을 제안한다. 사전에서만 RLS를 추정하고 데이터를 단일 패assing으로 처리함으로써, SQUEAK은 O~(nd_eff(γ)^3)의 선형 시간 복잡도를 달성하며, 전체 커널 행렬을 생성하지 않아도 되므로 스트리밍 및 분산 계산이 효율적으로 가능해지고, 정확도는 정확한 RLS 샘플링과 유사하며 최소한의 오버헤드를 유발한다.

ABSTRACT

Most kernel-based methods, such as kernel or Gaussian process regression, kernel PCA, ICA, or $k$-means clustering, do not scale to large datasets, because constructing and storing the kernel matrix $\mathbf{K}_n$ requires at least $\mathcal{O}(n^2)$ time and space for $n$ samples. Recent works show that sampling points with replacement according to their ridge leverage scores (RLS) generates small dictionaries of relevant points with strong spectral approximation guarantees for $\mathbf{K}_n$. The drawback of RLS-based methods is that computing exact RLS requires constructing and storing the whole kernel matrix. In this paper, we introduce SQUEAK, a new algorithm for kernel approximation based on RLS sampling that sequentially processes the dataset, storing a dictionary which creates accurate kernel matrix approximations with a number of points that only depends on the effective dimension $d_{eff}(γ)$ of the dataset. Moreover since all the RLS estimations are efficiently performed using only the small dictionary, SQUEAK is the first RLS sampling algorithm that never constructs the whole matrix $\mathbf{K}_n$, runs in linear time $\widetilde{\mathcal{O}}(nd_{eff}(γ)^3)$ w.r.t. $n$, and requires only a single pass over the dataset. We also propose a parallel and distributed version of SQUEAK that linearly scales across multiple machines, achieving similar accuracy in as little as $\widetilde{\mathcal{O}}(\log(n)d_{eff}(γ)^3)$ time.

연구 동기 및 목표

• 전체 커널 행렬을 생성해야 하는 커널 방법의 확장성 문제를 해결하기 위해, O(n²)의 공간과 시간 복잡도를 가지는 문제를 해결한다.
• 기존의 리지 리버러지 스코어(RLS) 샘플링 방법은 전체 커널 행렬을 계산하고 저장해야 하는 제약 조건을 극복한다.
• 메모리 및 계산 오버헤드를 최소화하면서도 높은 근사 정확도를 유지하는 스트리밍 및 분산 알고리즘을 설계한다.
• 이전의 적응형 샘플링 방법이 애초에 극단적인 고유값(예: 최소 또는 최대 고유값)에 의존하는 문제를 제거한다.
• 동적 또는 대규모 데이터 세트를 위한 단일 패assing 처리 및 점진적 업데이트를 가능하게 한다.

제안 방법

• SQUEAK은 비정규화된 리지 리버러지 스코어(RLS)를 샘플링 확률로 사용하며, 이를 현재 선택된 점들의 사전에서만 추정함으로써 전체 커널 행렬 계산을 피한다.
• 알고리즘은 데이터를 순차적으로 단일 패assing으로 처리하며, 추정된 RLS에 기반해 스펙트럴 근사 보장을 유지하기 위해 사전을 동적으로 업데이트한다.
• 복잡한 연속적인 재샘플링 단계 간의 종속성을 다루기 위해 새로운 마팅갈 기반 분석을 도입하여 이론적 정확도 한계를 보장한다.
• 데이터 파artitions를 독립적으로 처리할 수 있도록 해 분산 구현을 가능하게 하며, 로컬 사전의 계층적 융합을 지원한다.
• 선택된 열과 정규화된 역행렬 계산을 통해 커널 행렬을 근사하는 뉴스트롬 유형의 저랭크 근사 프레임워크를 사용한다.
• 새로운 데이터를 다시 계산하지 않고 점진적으로 통합함으로써 온라인 학습을 자연스럽게 지원한다.

실험 결과

연구 질문

• RQ1 전체 커널 행렬을 생성하지 않고도 리지 리버러지 스코어 샘플링을 통해 정확한 커널 행렬 근사를 달성할 수 있는가?
• RQ2 이론적 정확도 보장을 유지하면서도 단일 패assing 및 스트리밍 알고리즘을 설계할 수 있는가?
• RQ3 RLS 기반의 적응형 샘플링을 메모리 효율적으로 구현하고 분산 시스템으로 확장할 수 있는가?
• RQ4 온라인 재샘플링에 의해 유도되는 복잡한 순차적 종속성을 어떻게 분석할 수 있는가?
• RQ5 주어진 스펙트럴 근사 정확도를 달성하기 위해 필요한 최소 사전 크기는 얼마이며, 고유값 의존성을 제거하고도 이를 달성할 수 있는가?

주요 결과

• SQUEAK은 Õ(n d_eff(γ)^3)의 런타임 복잡도를 달성하며, 이는 샘플 수 n에 대해 선형이므로 대규모 데이터 세트에 대해 확장 가능하다.
• 알고리즘은 전체 커널 행렬 K_n을 한 번도 생성하지 않으며, RLS 추정을 위해 오직 국소 사전 정보에 의존한다.
• SQUEAK은 정확한 리지 리버러지 스코어 샘플링과 유사한 이론적 스펙트럴 근사 보장을 제공하며, 사전 크기가 유효 차원 d_eff(γ)에 비례한다.
• SQUEAK의 분산 버전은 다수의 머신에서 선형적으로 확장되며, Õ(log(n) d_eff(γ)^3) 시간 내에 근사를 달성한다.
• SQUEAK은 스트리밍 및 분산 환경을 모두 지원하며, 단일 패assing으로 데이터를 처리하고 전체 재계산 없이 점진적 업데이트를 가능하게 한다.
• 비정규화된 RLS 사용과 새로운 마팅갈 기반 분석 덕분에 SQUEAK은 극단적 고유값에 대한 의존성을 피함으로써 이전 방법보다 더 뛰어난 내구성을 확보한다.