[论文解读] How to Scale Up Kernel Methods to Be As Good As Deep Neural Nets

Zhiyun Lu, Avner May+9 more|arXiv (Cornell University)|Nov 14, 2014

Domain Adaptation and Few-Shot Learning参考文献 36被引用 45

一句话总结

本文提出可扩展的核方法，在大规模图像和语音识别任务中实现与深度神经网络（DNNs）相当或更优的性能，通过利用随机特征近似和高效优化。通过训练包含数亿参数的模型并结合多个核函数——尤其是通过乘法组合——在显著减少超参数数量和调优成本的前提下，实现了最先进性能。

ABSTRACT

The computational complexity of kernel methods has often been a major barrier for applying them to large-scale learning problems. We argue that this barrier can be effectively overcome. In particular, we develop methods to scale up kernel models to successfully tackle large-scale learning problems that are so far only approachable by deep learning architectures. Based on the seminal work by Rahimi and Recht on approximating kernel functions with features derived from random projections, we advance the state-of-the-art by proposing methods that can efficiently train models with hundreds of millions of parameters, and learn optimal representations from multiple kernels. We conduct extensive empirical studies on problems from image recognition and automatic speech recognition, and show that the performance of our kernel models matches that of well-engineered deep neural nets (DNNs). To the best of our knowledge, this is the first time that a direct comparison between these two methods on large-scale problems is reported. Our kernel methods have several appealing properties: training with convex optimization, cost for training a single model comparable to DNNs, and significantly reduced total cost due to fewer hyperparameters to tune for model selection. Our contrastive study between these two very different but equally competitive models sheds light on fundamental questions such as how to learn good representations.

研究动机与目标

• 通过实现包含数亿参数的高效训练，克服核方法在大规模学习中的计算瓶颈。
• 探究核方法是否能在真实世界的大规模计算机视觉和语音识别基准上实现与深度神经网络（DNNs）相当的性能。
• 通过利用核模型的简洁性和凸性，减轻DNN固有的超参数调优负担。
• 探究核模型与DNN模型是否学习互补的表征，通过比较和组合其学习到的特征。
• 为大规模学习提供一种实用、可复现且计算高效的DNN替代方案，尤其适用于低数据或低知识场景。

提出的方法

• 将[38]中的随机特征近似方法适配用于通过随机投影高效表示核函数，实现可扩展训练。
• 采用凸优化训练大规模核模型，包含数亿参数，确保收敛性和稳定性。
• 引入多个核函数的乘法组合，以学习比加法组合更丰富、更具表现力的特征表征。
• 使用t-SNE可视化比较核模型与DNN模型学习到的数据表征，评估特征空间中的结构差异。
• 对核模型和DNN模型的预-Softmax logits进行加权平均，构建集成系统，评估性能提升。
• 采用两阶段训练策略——预训练和微调——用于DNN，以在对比实验中匹配最佳核模型的性能。

实验结果

研究问题

• RQ1 核方法能否被扩展至在大规模图像和语音识别任务中实现与深度神经网络相当的性能？
• RQ2 大规模核模型在标准基准上的性能与经过良好优化的DNN相比如何？
• RQ3 核模型与DNN模型是否学习到相似或互补的数据表征？可视化与集成性能可提供依据。
• RQ4 乘法核组合与加法核组合对模型性能和可扩展性有何影响？
• RQ5 在新任务或低知识问题设置中，核方法在多大程度上能减少超参数调优负担，相比DNN？

主要发现

• 所提出的大型核模型在四个大规模基准上实现与或优于经过良好优化的DNN的性能：MNIST-6.7M、CIFAR-10、Bengali和Cantonese。
• 在MNIST-6.7M上，当与最佳DNN结合时，核模型实现0.61%的测试误差，优于最佳单模型（0.69%），表明存在互补学习。
• 乘法核组合始终优于加法组合，能在高维特征空间中实现更有效的表征学习。
• 核模型仅需调优两个超参数（核带宽和学习率），而DNN需调优数百甚至数千个，显著降低了模型选择成本。
• t-SNE可视化显示核模型与DNN模型在相对聚类排列上存在差异，表明它们学习到不同的非线性数据表征。
• 将最佳核模型与DNN模型进行集成，在所有数据集上均实现一致的性能提升，证实两种范式从数据中捕捉到不同且互补的知识。