[论文解读] Large Scale Kernel Learning using Block Coordinate Descent

Stephen Tu, Rebecca Roelofs+2 more|arXiv (Cornell University)|Feb 17, 2016

Stochastic Gradient Optimization Techniques参考文献 41被引用 22

一句话总结

该论文提出了一种分布式块坐标下降算法，可在包含最多200万数据点的数据集上实现可扩展的核学习，达到具有竞争力的分类准确率。通过避免存储完整的核矩阵并利用高效的块更新机制，该方法在统计准确性上优于随机特征和Nyström近似方法，尽管Nyström方法收敛需要更多迭代次数。

ABSTRACT

We demonstrate that distributed block coordinate descent can quickly solve kernel regression and classification problems with millions of data points. Armed with this capability, we conduct a thorough comparison between the full kernel, the Nyström method, and random features on three large classification tasks from various domains. Our results suggest that the Nyström method generally achieves better statistical accuracy than random features, but can require significantly more iterations of optimization. Lastly, we derive new rates for block coordinate descent which support our experimental findings when specialized to kernel methods.

研究动机与目标

• 通过支持分布式计算，解决核方法在大规模数据集上的可扩展性限制。
• 证明通过高效的优化方法，全核方法可实际应用于包含数百万数据点的数据集。
• 在多样化领域中，对全核方法、Nyström方法和随机特征近似方法进行大规模的实证比较。
• 推导块坐标下降的新收敛速率，以支持核学习设置下的实证发现。

提出的方法

• 使用分布式块坐标下降求解核最小二乘问题，无需显式构造完整的核矩阵。
• 在128台机器、共1024个核心上并行化单个迭代，相比并行更新聚合，显著降低了通信开销。
• 应用表示定理，将核学习问题转化为在核函数张成空间上的对偶变量求解问题。
• 通过分布式矩阵乘法和广播操作，高效生成RBF核及其他核的块。
• 使用正规方程 $ K(K + n\lambda I)\alpha = KY $ 求解每个块更新中的对偶变量 $\alpha$。
• 采用分块更新策略，每次迭代仅更新部分对偶变量，从而降低单次迭代的计算成本。

实验结果

研究问题

• RQ1 能否通过分布式优化将全核方法扩展到包含数百万数据点的数据集？
• RQ2 在大规模场景下，Nyström方法和随机特征近似方法的统计性能与收敛速度与全核方法相比如何？
• RQ3 核近似方法的选择对大规模核学习中的迭代复杂度和运行时间有何影响？
• RQ4 能否推导出块坐标下降的理论收敛速率，并将其专门化到核方法中，以解释实证行为？
• RQ5 随着数据规模和机器数量的增加，块坐标下降的性能如何扩展？

主要发现

• 使用分布式块坐标下降，可在数小时内求解包含 $ n = 2 \times 10^6 $ 个数据点的全核回归问题，达到具有竞争力的分类误差。
• Nyström方法通常比随机特征方法获得更低的测试误差，但收敛所需迭代次数显著更多。
• 在TIMIT数据集上，尽管近似质量存在差异，随机特征和Nyström方法的运行时间表现相近，主要由于核生成成本相当。
• 当块数较小时，全核方法与Nyström方法性能相当，因为其避免了昂贵的Gram矩阵计算。
• 弱扩展实验表明，RBF核块生成在数据量和机器数量增加时具有良好可扩展性，仅因广播开销导致轻微性能下降。
• 理论分析表明，块坐标下降的收敛速率不会差于梯度下降加上一个与块大小成反比的微小加性项，这支持了不同方法间观察到的迭代复杂度差异。