[论文解读] Diving into the shallows: a computational perspective on large-scale shallow learning

Siyuan Ma, Mikhail Belkin|arXiv (Cornell University)|Mar 30, 2017

Stochastic Gradient Optimization Techniques参考文献 18被引用 10

一句话总结

本文识别出在大规模核方法中使用梯度下降与平滑核函数时存在的基本计算局限性：仅非常平滑的函数能在多项式时间内被近似，导致严重欠拟合。为克服此问题，作者提出EigenPro迭代——一种简单、与SGD兼容的预处理方法，利用少量近似特征向量——显著提升收敛速度与性能，以远低于现有方法的计算成本达到或超越当前最先进结果。

ABSTRACT

In this paper we first identify a basic limitation in gradient descent-based optimization methods when used in conjunctions with smooth kernels. An analysis based on the spectral properties of the kernel demonstrates that only a vanishingly small portion of the function space is reachable after a polynomial number of gradient descent iterations. This lack of approximating power drastically limits gradient descent for a fixed computational budget leading to serious over-regularization/underfitting. The issue is purely algorithmic, persisting even in the limit of infinite data. To address this shortcoming in practice, we introduce EigenPro iteration, based on a preconditioning scheme using a small number of approximately computed eigenvectors. It can also be viewed as learning a new kernel optimized for gradient descent. It turns out that injecting this small (computationally inexpensive and SGD-compatible) amount of approximate second-order information leads to major improvements in convergence. For large data, this translates into significant performance boost over the standard kernel methods. In particular, we are able to consistently match or improve the state-of-the-art results recently reported in the literature with a small fraction of their computational budget. Finally, we feel that these results show a need for a broader computational perspective on modern large-scale learning to complement more traditional statistical and convergence analyses. In particular, many phenomena of large-scale high-dimensional inference are best understood in terms of optimization on infinite dimensional Hilbert spaces, where standard algorithms can sometimes have properties at odds with finite-dimensional intuition. A systematic analysis concentrating on the approximation power of such algorithms within a budget of computation may lead to progress both in theory and practice.

研究动机与目标

• 识别并分析在大规模数据集上对平滑核方法使用梯度下降时存在的关键算法局限性。
• 解释为何标准梯度下降在实际计算时间内无法有效近似较不平滑、更现实的目标函数。
• 开发一种实用且高效的算法，克服此局限性，且不依赖完整二阶方法。
• 证明简单的算法改进可显著提升浅层学习方法在大规模数据上的性能。
• 倡导在大规模学习中引入计算视角，以补充传统的统计分析。

提出的方法

• 提出EigenPro迭代，一种使用核矩阵少量近似特征向量的预处理梯度下降方法。
• 利用平滑核的谱性质，表明由于谱衰减过快，梯度下降收敛缓慢，从而限制可到达的函数空间。
• 在无穷维希尔伯特空间中建模问题，揭示该问题本质为算法性而非统计性，即使在无限数据下依然存在。
• 引入一种计算高效、与SGD兼容的方法，通过低秩特征子空间近似海塞矩阵，提升收敛速度。
• 将该方法应用于核岭回归与分类任务，在多个数据集上均展示出一致的性能提升。
• 使用随机傅里叶特征将方法扩展至大规模数据集，同时保持准确率与效率。

实验结果

研究问题

• RQ1 为何标准梯度下降在应用于大规模数据集上的平滑核方法时收敛效率低下？
• RQ2 梯度下降在平滑核中存在何种根本性算法局限，导致欠拟合并过度正则化？
• RQ3 能否通过第一阶梯度方法的简单、低成本修改，注入足够二阶信息以显著提升大规模核学习中的收敛速度？
• RQ4 此类修改在仅使用极小计算预算的情况下，能在多大程度上匹配或超越当前最先进性能？
• RQ5 核函数的平滑性与目标函数的非平滑性之间的不匹配，是否是实际分类任务中的普遍且关键问题？

主要发现

• 由于谱衰减过快，使用平滑核的梯度下降在多项式时间内仅能触及函数空间的可忽略不计部分。
• 即使在无限数据条件下，由于算法约束，该方法也无法在合理迭代次数内近似较不平滑的目标函数。
• EigenPro迭代通过使用少量近似特征向量，显著提升收敛速度与模型准确率。
• 在MNIST数据集上，EigenPro在4.8 GPU小时内实现0.70%的测试误差，与最先进结果（0.72%）相当，但耗时仅为1/15，且训练轮次更少。
• 在TIMIT数据集上，EigenPro在3.2 GPU小时内实现31.7%的误差，优于以往结果（需512个核心或在1024个vCPU上运行7.5小时）。
• 在SUSY数据集上，EigenPro仅用0.1 GPU小时即实现19.8%的误差，显著优于先前方法（需0.6小时在IBM POWER8上运行）。