[论文解读] Fast Polynomial Kernel Classification for Massive Data

Jinshan Zeng, Minrun Wu+2 more|arXiv (Cornell University)|Nov 24, 2019

Sparse and Compressive Sensing Techniques参考文献 54被引用 8

一句话总结

本文提出快速多项式核分类法（FPC），一种可扩展的海量数据分类算法，通过多项式核特征映射和ADMM求解器，显著降低计算与存储成本。FPC仅需两个可调参数即可实现最优学习率，在真实世界和高维数据上的效率与精度均优于SVM、Nyström及随机特征方法。

ABSTRACT

In the era of big data, it is desired to develop efficient machine learning algorithms to tackle massive data challenges such as storage bottleneck, algorithmic scalability, and interpretability. In this paper, we develop a novel efficient classification algorithm, called fast polynomial kernel classification (FPC), to conquer the scalability and storage challenges. Our main tools are a suitable selected feature mapping based on polynomial kernels and an alternating direction method of multipliers (ADMM) algorithm for a related non-smooth convex optimization problem. Fast learning rates as well as feasibility verifications including the efficiency of an ADMM solver with convergence guarantees and the selection of center points are established to justify theoretical behaviors of FPC. Our theoretical assertions are verified by a series of simulations and real data applications. Numerical results demonstrate that FPC significantly reduces the computational burden and storage memory of existing learning schemes such as support vector machines, Nyström and random feature methods, without sacrificing their generalization abilities much.

研究动机与目标

• 解决传统核方法（如SVM）在大规模分类中面临的可扩展性与存储瓶颈问题。
• 开发一种理论依据充分、高效且适用于海量数据的分类算法，同时保持优异的泛化性能。
• 相比现有可扩展方法（如Nyström与随机特征方法），减少超参数数量与计算复杂度。
• 在标准统计学习假设下，为所提方法建立理论收敛性与学习率保证。
• 通过广泛模拟与真实数据实验，证明FPC在多种数据集上的实际优越性。

提出的方法

• 采用基于多项式核的特征映射构建特征空间，使线性分类器表现良好，核参数控制模型容量。
• 将分类问题建模为非光滑凸优化问题，无需边际约束或正则化参数。
• 应用交替方向乘子法（ADMM）高效求解优化问题，并具备收敛性保证。
• 在ADMM框架中引入参数为α的邻近项与参数为β的惩罚项，以增强收敛稳定性与加速收敛。
• 实现三种中心生成机制用于特征映射，实证验证表明均匀随机采样表现最优。
• 结合理论分析与数值实验，验证方法的可行性、效率与泛化性能。

实验结果

研究问题

• RQ1 基于多项式核的特征映射结合ADMM能否有效解决海量数据分类中的可扩展性与存储问题？
• RQ2 所提出的FPC方法在标准统计学习假设下是否能达到与SVM相当的最优学习率？
• RQ3 FPC对关键超参数（如核函数次数、邻近参数α与惩罚参数β）的敏感性如何？
• RQ4 FPC能否在计算效率与分类精度两方面均优于Nyström与随机特征方法等先进方法？
• RQ5 不同中心生成策略对FPC性能有何影响？

主要发现

• 在Tsybakov与几何噪声假设下，FPC实现了最优学习率，其统计学习理论性能与SVM相当。
• 与SVM、Nyström及随机特征方法相比，FPC显著降低了计算负担与存储需求，同时不损失泛化能力。
• FPC在不同邻近参数α值下表现稳定，且在UCI数据集上α=1时平均性能最佳。
• 在所有测试的UCI数据集中，惩罚参数β=1被确定为最优值，确保了鲁棒的收敛性与性能表现。
• 通过均匀随机采样（方案1）生成中心的策略在平均性能上略优，推荐作为默认策略。
• 在真实世界与高维图像数据集上的数值实验进一步证实，FPC在效率与精度方面均显著优于现有可扩展方法。