[论文解读] Communication Efficient Distributed Kernel Principal Component Analysis

Maria-Florina Balcan, Yingyu Liang+3 more|arXiv (Cornell University)|Mar 23, 2015

Face and Expression Recognition被引用 4

一句话总结

该论文提出了一种通信高效的分布式核主成分分析（KPCA）算法，通过子空间嵌入与自适应采样技术，在相对误差保证下计算全局核主成分。其通信复杂度接近最优，为Õ(sρk/ε + sk²/ε³)个词，且与特征空间维度无关，在真实世界数据集上，其在准确率与通信效率方面均优于基线方法。

ABSTRACT

Kernel Principal Component Analysis (KPCA) is a key machine learning algorithm for extracting nonlinear features from data. In the presence of a large volume of high dimensional data collected in a distributed fashion, it becomes very costly to communicate all of this data to a single data center and then perform kernel PCA. Can we perform kernel PCA on the entire dataset in a distributed and communication efficient fashion while maintaining provable and strong guarantees in solution quality? In this paper, we give an affirmative answer to the question by developing a communication efficient algorithm to perform kernel PCA in the distributed setting. The algorithm is a clever combination of subspace embedding and adaptive sampling techniques, and we show that the algorithm can take as input an arbitrary configuration of distributed datasets, and compute a set of global kernel principal components with relative error guarantees independent of the dimension of the feature space or the total number of data points. In particular, computing $k$ principal components with relative error $ε$ over $s$ workers has communication cost $ ilde{O}(s ρk/ε+s k^2/ε^3)$ words, where $ρ$ is the average number of nonzero entries in each data point. Furthermore, we experimented the algorithm with large-scale real world datasets and showed that the algorithm produces a high quality kernel PCA solution while using significantly less communication than alternative approaches.

研究动机与目标

• 为解决将分布式高维数据传输至中心节点进行核主成分分析所导致的高通信成本问题。
• 开发一种分布式算法，对非线性特征提取保持强理论保证的解质量。
• 实现与核特征空间维度无关的通信复杂度，该维度甚至可能为无穷大。
• 为图像、文本和医疗数据分析等大规模应用提供可扩展的、低通信量的核主成分分析方法。
• 为分布式谱聚类及下游机器学习任务提供一种实用且理论基础坚实的解决方案。

提出的方法

• 该算法使用自适应采样构建一个小而具代表性的数据点子集，以保留全局核子空间结构。
• 应用子空间嵌入技术，确保所选子集能在(1+ε)相对误差范围内近似完整数据的核主成分。
• 该方法采用主从架构，每个工作节点持有数据的一个分区，仅与主节点通信。
• 对于多项式核及平移不变核（如RBF核），其可实现(1+ε)-近似，且附加误差可任意减小。
• 提出一种新型的分布式列子集选择（CSS）算法作为子程序，通信成本为O(sρk/ε + sk²)，几乎达到下界。
• 该算法将数据投影到计算出的低秩子空间上，从而支持下游应用，如分布式k-means聚类。

实验结果

研究问题

• RQ1 我们能否在通信成本与核特征空间维度无关的前提下，在分布式环境中执行核主成分分析？
• RQ2 是否可能仅通过最小通信量实现对最优秩-k核子空间的(1+ε)相对误差近似？
• RQ3 如何设计一种通信高效的算法，以选择少量具代表性的数据点来近似全局核主成分分析解？
• RQ4 所提出的方法能否在多个工作节点上有效扩展，同时保持高解质量？
• RQ5 该算法在通信效率和近似精度方面是否优于均匀采样与批量KPCA？

主要发现

• 该算法的通信成本为Õ(sρk/ε + sk²/ε³)个词，接近最优，且与特征空间维度无关。
• 在稀疏数据集（如bow和20news）上，该算法利用稀疏性，显著降低了均匀采样方法的误差。
• 对于高斯RBF核，disKPCA的近似误差低于均匀采样+批量KPCA，即使后者使用了多得多的通信量。
• 在higgs数据集上，disKPCA以不到1/5的通信成本实现了与均匀采样+disLR相当的误差。
• 该算法能够实现有效的分布式谱聚类，在通信成本与k-means目标值的权衡上优于基线方法。
• 可扩展性实验表明，使用4倍以上的工作节点可实现2倍加速，尽管算法并非主要针对计算优化，但展现出有利的并行化特性。