[论文解读] FALKON: An Optimal Large Scale Kernel Method

Alessandro Rudi, Luigi Carratino+1 more|arXiv (Cornell University)|May 31, 2017

Machine Learning and Data Classification被引用 19

一句话总结

FALKON 提出了一种新颖的核方法，通过结合 Nyström 近似、预处理共轭梯度求解器和随机子采样，实现了大规模学习中的最优统计精度，时间复杂度为 O(n√n)，内存复杂度为 O(n)。该方法在单机设置下优于先前的最先进方法，甚至在数百万数据点上超越了分布式方法的效率与精度。

ABSTRACT

Kernel methods provide a principled way to perform non linear, nonparametric learning. They rely on solid functional analytic foundations and enjoy optimal statistical properties. However, at least in their basic form, they have limited applicability in large scale scenarios because of stringent computational requirements in terms of time and especially memory. In this paper, we take a substantial step in scaling up kernel methods, proposing FALKON, a novel algorithm that allows to efficiently process millions of points. FALKON is derived combining several algorithmic principles, namely stochastic subsampling, iterative solvers and preconditioning. Our theoretical analysis shows that optimal statistical accuracy is achieved requiring essentially $O(n)$ memory and $O(n\sqrt{n})$ time. An extensive experimental analysis on large scale datasets shows that, even with a single machine, FALKON outperforms previous state of the art solutions, which exploit parallel/distributed architectures.

研究动机与目标

• 解决核方法在大规模学习场景中的计算与内存瓶颈问题。
• 在可证明降低的时间与空间复杂度下，实现最优统计精度（即最小过剩风险）。
• 将 Nyström 近似、迭代求解器与预处理技术整合为一个高效的核岭回归算法。
• 证明即使在单机环境下，也能以亚二次复杂度实现最优统计性能。
• 在标准与良性条件下，提供收敛速率与泛化误差的理论保证。

提出的方法

• FALKON 使用 Nyström 近似，通过勒贝格得分或均匀采样选择 M 个地标点，以减小核矩阵的规模。
• 应用基于 Nyström 近似的预处理矩阵，加速对简化线性系统的共轭梯度求解。
• 通过应用于预处理系统的迭代 Krylov 子空间方法（共轭梯度）求解核岭回归问题。
• 利用核矩阵低秩近似的 Cholesky 分解构建预处理矩阵，从而实现高效的矩阵-向量乘积。
• 利用随机线性代数技术高效计算 Nyström 中心及其权重，降低计算成本。
• 在共轭梯度中采用早停策略，以避免过拟合并确保在最少迭代次数内实现最优泛化。

实验结果

研究问题

• RQ1 核方法是否能在时间与内存复杂度低于 O(n²) 的条件下实现最优统计精度？
• RQ2 Nyström 近似能否与预处理的迭代求解器有效结合，使核方法可扩展至数百万数据点？
• RQ3 所提出的算法在标准与良性条件下是否能保持最优泛化误差率？
• RQ4 单机实现是否能在速度与精度上均优于分布式或并行方法？
• RQ5 不同的采样策略（如均匀采样与勒贝格得分采样）对算法性能与收敛性有何影响？

主要发现

• FALKON 在时间复杂度 O(n√n) 与内存复杂度 O(n) 下实现最优统计精度，仅受对数因子影响。
• 该算法在大规模数据集上优于以往最先进方法，即使后者采用分布式或并行架构。
• 在单机环境下，FALKON 的预测精度更高且训练速度更快，优于现有可扩展核方法。
• 使用勒贝格得分采样选择 Nyström 中心，相比均匀采样，能提升收敛性与泛化性能。
• 理论分析证实，FALKON 在标准与良性条件下均达到最优过剩风险率，性能与精确核岭回归相当。
• 实验结果表明，FALKON 可作为大规模非线性学习任务中深度全连接神经网络的可行替代方案。