[论文解读] Divide and Conquer Kernel Ridge Regression: A Distributed Algorithm with Minimax Optimal Rates

Yuchen Zhang, John C. Duchi+1 more|arXiv (Cornell University)|May 22, 2013

Sparse and Compressive Sensing Techniques参考文献 42被引用 300

一句话总结

本文提出了一种分布式分治核岭回归算法，该算法将大规模数据集划分为 m 个子集，在每个子集上独立计算核岭回归估计器，并通过平均这些估计器形成全局预测器。尽管每个子集的计算量减少，但在 m 的温和条件下，该方法仍能达到极小极大最优收敛速率，从而在保持统计效率的同时实现显著的计算节省。

ABSTRACT

We establish optimal convergence rates for a decomposition-based scalable approach to kernel ridge regression. The method is simple to describe: it randomly partitions a dataset of size N into m subsets of equal size, computes an independent kernel ridge regression estimator for each subset, then averages the local solutions into a global predictor. This partitioning leads to a substantial reduction in computation time versus the standard approach of performing kernel ridge regression on all N samples. Our two main theorems establish that despite the computational speed-up, statistical optimality is retained: as long as m is not too large, the partition-based estimator achieves the statistical minimax rate over all estimators using the set of N samples. As concrete examples, our theory guarantees that the number of processors m may grow nearly linearly for finite-rank kernels and Gaussian kernels and polynomially in N for Sobolev spaces, which in turn allows for substantial reductions in computational cost. We conclude with experiments on both simulated data and a music-prediction task that complement our theoretical results, exhibiting the computational and statistical benefits of our approach.

研究动机与目标

• 开发一种可扩展的分布式核岭回归算法，以在大规模数据集上保持统计最优性。
• 建立理论条件，证明对局部估计器的简单平均可实现极小极大最优收敛速率。
• 证明对局部估计器的欠正则化——即视其为在完整数据集上训练——可通过集成平均得到补偿，从而实现最优的全局性能。
• 量化分布式非参数回归中计算效率与统计精度之间的权衡。
• 在合成数据和一个真实世界的音乐预测任务上对方法进行实证验证。

提出的方法

• 将大小为 N 的数据集随机划分为 m 个大小相等的子集。
• 在每个子集上使用校准为在完整 N 个样本上训练的正则化参数，独立计算核岭回归估计器。
• 通过平均局部估计器形成全局预测器：$\bar{f} = \frac{1}{m}\sum_{i=1}^m \widehat{f}_i$。
• 理论分析依赖于核算子的谱分解，以及在再生核希尔伯特空间中对偏差和方差分量的界。
• 关键技术工具包括矩阵集中不等式和经验核矩阵的矩 bound，以控制局部估计器的偏离。
• 该方法被证明具有 $\mathcal{O}(N^3/m^2)$ 的时间复杂度和 $\mathcal{O}(N^2/m^2)$ 的内存复杂度，支持使用 m 个处理器实现超线性加速。

实验结果

研究问题

• RQ1 对独立计算的局部核岭回归估计器进行简单平均，能否实现极小极大最优收敛速率？
• RQ2 在分布式核岭回归中，分区数 m 最大可达到多大，同时仍能保持统计最优性？
• RQ3 局部估计器中的欠正则化对平均后全局预测器的整体方差和偏差有何影响？
• RQ4 分治方法是否对不同类别的核函数（如有限秩核、高斯核和索博列夫核）均保持最优收敛速率？
• RQ5 该方法能否在大规模非参数回归问题中实现显著的计算节省，而不牺牲统计效率？

主要发现

• 即使每个局部估计器仅在 $N/m$ 个样本上训练，平均估计器 $\bar{f}$ 仍能在底层再生核希尔伯特空间上实现极小极大最优收敛速率。
• 对于有限秩核和高斯核，m 可几乎线性地随 N 增长，同时保持最优性，从而实现显著的计算加速。
• 对于索博列夫空间，m 可在 N 上多项式增长，且在相同条件下仍保持最优速率。
• 该方法实现时间复杂度 $\mathcal{O}(N^3/m^2)$ 和内存复杂度 $\mathcal{O}(N^2/m^2)$，支持使用 m 个并行处理器实现超线性加速。
• 尽管存在局部欠正则化，但 m 倍平均带来的方差减少可补偿局部方差的增加，从而保持极小极大最优性。
• 在合成数据和音乐预测任务上的实验结果证实了该方法在计算效率和统计精度方面的优越表现。