[论文解读] Kernel machines that adapt to GPUs for effective large batch training

Siyuan Ma, Mikhail A. Belkin|arXiv (Cornell University)|Jun 15, 2018

Advanced Neural Network Applications参考文献 30被引用 4

一句话总结

本文提出了 EigenPro 2.0，这是一种原则化的框架，通过将核函数解析地适应计算资源，对经典核机器进行修改，从而在 GPU 上实现扩展的线性缩放。该方法实现了近乎即时的训练——在单张 Titan Xp GPU 上对包含 130 万张样本的 ImageNet 数据集训练时间不足一小时，且不改变模型的预测函数，从而实现快速、交互式且几乎无需调参的机器学习。

ABSTRACT

Modern machine learning models are typically trained using Stochastic Gradient Descent (SGD) on massively parallel computing resources such as GPUs. Increasing mini-batch size is a simple and direct way to utilize the parallel computing capacity. For small batch an increase in batch size results in the proportional reduction in the training time, a phenomenon known as linear scaling. However, increasing batch size beyond a certain value leads to no further improvement in training time. In this paper we develop the first analytical framework that extends linear scaling to match the parallel computing capacity of a resource. The framework is designed for a class of classical kernel machines. It automatically modifies a standard kernel machine to output a mathematically equivalent prediction function, yet allowing for extended linear scaling, i.e., higher effective parallelization and faster training time on given hardware. The resulting algorithms are accurate, principled and very fast. For example, using a single Titan Xp GPU, training on ImageNet with $1.3 imes 10^6$ data points and $1000$ labels takes under an hour, while smaller datasets, such as MNIST, take seconds. As the parameters are chosen analytically, based on the theoretical bounds, little tuning beyond selecting the kernel and the kernel parameter is needed, further facilitating the practical use of these methods.

研究动机与目标

• 解决核机器大规模批量训练中线性缩放的根本限制，即当批量大小超过临界值 $m^*$ 后，训练时间趋于平缓。
• 开发一种方法，将 $m^*$ 扩展至匹配现代 GPU 的并行计算能力，同时不改变学习到的预测函数。
• 通过基于理论边界的解析推导优化参数，实现快速、交互式且原则化的核学习。
• 通过提供可自动适应硬件的框架，减少对启发式调参的依赖，从而提高训练效率和可扩展性。

提出的方法

• 该框架通过引入依赖数据和资源的核函数，对标准核机器进行修改，从而保持原始预测函数的数学等价性。
• 提取有限的二阶信息以重新加权优化过程，从而实现更高的有效批量大小和扩展的线性缩放。
• 该方法采用一种基于理论边界的解析调优的迭代优化方案（EigenPro 迭代），最大限度减少超参数搜索的需求。
• 通过核函数重加权和批量处理，降低内存和计算成本，实现高效的 GPU 实现。
• 利用拉普拉斯核以提升鲁棒性并获得更大的 $m^*$，相比高斯核可实现更优的并行化。
• 集成主成分分析（PCA）作为实用的加速技术，在不造成显著准确率损失的前提下降低特征空间维度。

实验结果

研究问题

• RQ1 核机器训练中的线性缩放极限能否通过解析方法扩展至匹配现代 GPU 的并行计算能力？
• RQ2 如何修改核机器，使其在保持相同预测函数的同时，实现显著更高的批量大小和更快的训练速度？
• RQ3 核函数的选择（如拉普拉斯核与高斯核）在决定有效批量大小 $m^*$ 和训练速度方面起到何种作用？
• RQ4 通过 PCA 降低维度在多大程度上可加速核训练，同时不降低模型性能？
• RQ5 优化过程能否实现解析化且近乎无调参，同时达到最先进水平的训练速度？

主要发现

• 所提出的框架将线性缩放扩展至标准 $m^*$ 限制之外，使得训练时间可随批量大小成比例减少，即使在极大规模下依然有效。
• 在单张 Titan Xp GPU 上，对包含 130 万张样本和 1000 个类别的 ImageNet 数据集进行训练，耗时不足一小时，展现出极高的可扩展性。
• 对于较小的数据集（如 MNIST），训练时间在 5 秒以内完成，支持快速交互式和探索性机器学习工作流。
• 拉普拉斯核相比高斯核可获得更大的 $m^*$，从而实现更有效的并行化，并减少对超参数调优的需求。
• 在 ImageNet 上将特征维度从 1536 降低至 500 的 PCA 处理，使训练成本显著降低，且准确率损失不足 0.2%。
• 该方法在训练速度上优于 LibSVM 和 ThunderSVM，在极短时间内达到相当或更优的测试准确率，且仅需极少调参。