[论文解读] Distributed Kernel Principal Component Analysis.

Maria-Florina Balcan, Yingyu Liang+3 more|arXiv (Cornell University)|Mar 23, 2015

Sparse and Compressive Sensing Techniques参考文献 29被引用 9

一句话总结

本文提出了一种通信高效的分布式核主成分分析（KPCA）算法，通过列子集选择和压缩（sketching）技术，对多项式核函数实现相对误差近似，对高斯核及其他核函数实现较小的加法误差近似。通过结合无偏子空间嵌入、杠杆度数近似和自适应采样，该方法实现了近乎最优的通信复杂度，与以往方法相比显著降低了带宽消耗。

ABSTRACT

Kernel Principal Component Analysis (KPCA) is a key technique in machine learning for extracting the nonlinear structure of data and pre-processing it for downstream learning algorithms. We study the distributed setting in which there are multiple workers, each holding a set of points, who wish to compute the principal components of the union of their pointsets. Our main result is a communication efficient algorithm that takes as input arbitrary data points and computes a set of global principal components, that give relative-error approximation for polynomial kernels, or give relative-error approximation with an arbitrarily small additive error for a wide family of kernels including Gaussian kernels. While recent work shows how to do PCA in a distributed setting, the setting is significantly more challenging. Although the kernel trick is useful for efficient computation, it is unclear how to use it to reduce communication. The main problem with previous work is that it achieves communication proportional to the dimension of the data points, which would be proportional to the dimension of the feature space, or to the number of examples, both of which could be very large. We instead first select a small subset of points whose span contains a good approximation (the column subset selection problem, CSS), and then use sketching for low rank approximation to achieve our result. The column subset selection is done using a careful combination of oblivious subspace embeddings for kernels, oblivious leverage score approximation, and adaptive sampling. These lead to nearly optimal communication bound for CSS, and also lead to nearly optimal communication for KPCA in the constant approximation region. Experiments on large scale real world datasets show the efficacy of our algorithm.

研究动机与目标

• 解决在数据被分割到多个工作节点的分布式环境中计算全局核主成分分析的挑战。
• 降低传统上随数据维度或样本数量而增长的分布式KPCA中的通信成本。
• 在多项式核函数上实现相对误差近似，在包括高斯核在内的广泛核函数类上实现较小的加法误差近似。
• 在常数近似范围内，为核主成分分析建立近乎最优的通信复杂度边界。
• 为大规模机器学习流水线中的可扩展、高效非线性特征提取提供支持。

提出的方法

• 该方法首先采用列子集选择（CSS）识别一小部分具有代表性的数据点，其张成空间可近似表示全局核矩阵。
• 采用专为核空间设计的无偏子空间嵌入，以确保低秩近似的准确性，同时将通信量降至最低。
• 自适应地使用杠杆度数近似，以在子集选择过程中优先考虑信息量丰富的点。
• 应用自适应采样以优化所选子集，提升近似质量，同时保持低通信开销。
• 利用压缩技术在分布式环境中高效计算核矩阵的低秩近似。
• 上述组件的结合使得列子集选择和KPCA均实现了近乎最优的通信复杂度。

实验结果

研究问题

• RQ1 我们能否在通信复杂度与数据维度或样本数量无关的分布式环境中，实现核主成分分析的相对误差近似？
• RQ2 如何有效选择一小部分点，以捕捉核空间中数据的全局非线性结构？
• RQ3 哪些技术可以降低分布式KPCA中的通信量，同时保持多项式核和高斯核的近似保证？
• RQ4 无偏子空间嵌入和杠杆度数近似能否被适配用于分布式环境中的基于核的低秩近似？
• RQ5 分布式KPCA可实现的理论通信边界是什么？我们能在多大程度上逼近这一边界？

主要发现

• 所提出的算法在多项式核函数上实现了相对误差近似，且通信复杂度近乎最优。
• 对于包括高斯核在内的广泛核函数族，该算法可实现相对误差近似，且加法误差可任意小。
• 与以往方法相比，通信开销显著降低，后者通常随数据维度或样本数量而增长。
• 该方法通过结合无偏子空间嵌入、杠杆度数近似和自适应采样，实现了近乎最优的列子集选择。
• 在大规模真实世界数据集上的实验验证了该算法在降低通信量的同时保持高近似质量的有效性。
• 理论分析建立了在常数近似范围内，列子集选择和核主成分分析问题的近乎最优通信边界。