[论文解读] Distributed Adaptive Sampling for Kernel Matrix Approximation

Daniele Calandriello, Alessandro Lazaric+1 more|arXiv (Cornell University)|Mar 27, 2018

Gaussian Processes and Bayesian Inference参考文献 5被引用 3

一句话总结

本文提出 SQUEAK，一种用于核矩阵近似的新型分布式自适应采样算法，利用未归一化的岭杠杆率分数（RLS）构建一个小型且精确的代表性点字典。通过仅从字典中估计 RLS 并以单次遍历处理数据，SQUEAK 实现了线性时间复杂度 O~(nd_eff(γ)^3)，并实现了高效的流式处理与分布式计算，而无需构建完整的核矩阵，其精度与精确 RLS 采样相当，且开销极小。

ABSTRACT

Most kernel-based methods, such as kernel or Gaussian process regression, kernel PCA, ICA, or $k$-means clustering, do not scale to large datasets, because constructing and storing the kernel matrix $\mathbf{K}_n$ requires at least $\mathcal{O}(n^2)$ time and space for $n$ samples. Recent works show that sampling points with replacement according to their ridge leverage scores (RLS) generates small dictionaries of relevant points with strong spectral approximation guarantees for $\mathbf{K}_n$. The drawback of RLS-based methods is that computing exact RLS requires constructing and storing the whole kernel matrix. In this paper, we introduce SQUEAK, a new algorithm for kernel approximation based on RLS sampling that sequentially processes the dataset, storing a dictionary which creates accurate kernel matrix approximations with a number of points that only depends on the effective dimension $d_{eff}(γ)$ of the dataset. Moreover since all the RLS estimations are efficiently performed using only the small dictionary, SQUEAK is the first RLS sampling algorithm that never constructs the whole matrix $\mathbf{K}_n$, runs in linear time $\widetilde{\mathcal{O}}(nd_{eff}(γ)^3)$ w.r.t. $n$, and requires only a single pass over the dataset. We also propose a parallel and distributed version of SQUEAK that linearly scales across multiple machines, achieving similar accuracy in as little as $\widetilde{\mathcal{O}}(\log(n)d_{eff}(γ)^3)$ time.

研究动机与目标

• 解决核方法因构建完整核矩阵而产生的 O(n²) 空间与时间开销的可扩展性瓶颈。
• 克服传统岭杠杆率分数（RLS）采样方法的局限性，后者通常需要计算并存储整个核矩阵。
• 设计一种支持流式处理与分布式计算的算法，在保持高近似精度的同时，实现最小内存与计算开销。
• 消除对极端特征值（如最小值或最大值）的依赖，这些依赖会困扰先前的自适应采样方法。
• 实现单次遍历处理与增量更新，适用于动态或大规模数据集。

提出的方法

• SQUEAK 使用未归一化的岭杠杆率分数（RLS）作为采样概率，仅从当前选定点的字典中估计 RLS，避免了完整核矩阵的计算。
• 该算法以顺序方式单次遍历处理数据，基于估计的 RLS 动态更新字典，以维持谱近似的保证。
• 采用一种新颖的基于鞅的分析方法，处理连续重采样步骤之间的复杂依赖关系，确保理论上的精度边界。
• 通过允许独立处理数据分区，支持分布式实现，并通过分层方式合并本地字典。
• 采用类似 Nyström 的低秩近似框架，通过选定列与正则化逆计算来近似核矩阵。
• 通过增量方式集成新数据，无需从头开始重新计算，自然支持在线学习。

实验结果

研究问题

• RQ1 我们能否在不构建完整核矩阵的前提下，通过岭杠杆率分数采样实现准确的核矩阵近似？
• RQ2 能否设计一种单次遍历、支持流式处理的核近似算法，同时保持理论精度保证？
• RQ3 能否使基于 RLS 的自适应采样在内存效率与分布式系统可扩展性方面均得到优化？
• RQ4 如何分析在线重采样在自适应采样方案中引入的复杂序列依赖关系？
• RQ5 达到给定谱近似精度所需的最小字典大小是多少？是否可以在不依赖特征值的情况下实现该目标？

主要发现

• SQUEAK 实现了 Õ(n d_eff(γ)^3) 的运行时间复杂度，与样本数 n 呈线性关系，使其可扩展至大规模数据集。
• 该算法从未构建完整的核矩阵 K_n，仅依赖于本地字典信息进行 RLS 估计。
• SQUEAK 提供了与精确岭杠杆率分数采样相当的理论谱近似保证，字典大小与有效维度 d_eff(γ) 成比例。
• SQUEAK 的分布式版本在多台机器上实现线性扩展，近似时间复杂度为 Õ(log(n) d_eff(γ)^3)。
• SQUEAK 支持流式处理与分布式计算，以单次遍历处理数据，并支持无需完整重计算的增量更新。
• 通过使用未归一化的 RLS 与一种新颖的基于鞅的分析方法，SQUEAK 避免了对极端特征值的依赖，相较于先前方法更具鲁棒性。