[论文解读] Fast Bounded Online Gradient Descent Algorithms for Scalable Kernel-Based Online Learning

Peilin Zhao, Jialei Wang+3 more|arXiv (Cornell University)|Jun 18, 2012

Advanced Bandit Algorithms Research参考文献 16被引用 41

一句话总结

本文提出两种高效的有界在线梯度下降（BOGD）算法——BOGD与BOGD++——用于可扩展的核基在线学习，通过均匀采样与非均匀采样来维持固定数量的支持向量。与现有方法相比，该方法在大规模数据集上实现了更强的遗憾边界、更高的效率与准确性。

ABSTRACT

Kernel-based online learning has often shown state-of-the-art performance for many online learning tasks. It, however, suffers from a major shortcoming, that is, the unbounded number of support vectors, making it non-scalable and unsuitable for applications with large-scale datasets. In this work, we study the problem of bounded kernel-based online learning that aims to constrain the number of support vectors by a predefined budget. Although several algorithms have been proposed in literature, they are neither computationally efficient due to their intensive budget maintenance strategy nor effective due to the use of simple Perceptron algorithm. To overcome these limitations, we propose a framework for bounded kernel-based online learning based on an online gradient descent approach. We propose two efficient algorithms of bounded online gradient descent (BOGD) for scalable kernel-based online learning: (i) BOGD by maintaining support vectors using uniform sampling, and (ii) BOGD++ by maintaining support vectors using non-uniform sampling. We present theoretical analysis of regret bound for both algorithms, and found promising empirical performance in terms of both efficacy and efficiency by comparing them to several well-known algorithms for bounded kernel-based online learning on large-scale datasets.

研究动机与目标

• 解决核基在线学习中因支持向量无界增长而导致的可扩展性问题。
• 开发计算高效的算法，在不牺牲学习性能的前提下维持固定数量的支持向量。
• 改进现有有界核方法，这些方法因依赖简单的感知机式更新而过于缓慢或效果不佳。
• 在支持向量数量有界的约束下，为所提算法提供理论遗憾边界。
• 通过实验验证算法在大规模数据集上的有效性与效率。

提出的方法

• 提出一种有界在线梯度下降（BOGD）框架，将支持向量数量限制在预设预算内。
• 引入BOGD，采用均匀采样在在线学习过程中选择并维护支持向量。
• 开发BOGD++，采用非均匀采样，根据梯度大小优先保留更具信息量的支持向量。
• 在施加预算约束的前提下，对对偶优化问题应用在线梯度下降更新。
• 采用动态替换策略，根据采样标准用新支持向量替换最不重要的支持向量。
• 提供理论遗憾分析，表明在标准假设下，BOGD与BOGD++均具有次线性遗憾边界。

实验结果

研究问题

• RQ1 有界核基在线学习算法是否能在大规模数据集上实现高精度的同时保持高效可扩展性？
• RQ2 在学习性能与计算成本方面，支持向量的非均匀采样与均匀采样相比表现如何？
• RQ3 所提有界在线梯度下降算法的理论遗憾边界是什么？
• RQ4 在收敛速度与准确性方面，BOGD与BOGD++与现有有界核方法相比表现如何？
• RQ5 所提框架是否能在大规模在线学习任务中实现最先进性能？

主要发现

• 由于采用非均匀采样策略，BOGD++在大规模数据集上的泛化性能优于BOGD及其他基线方法。
• BOGD与BOGD++均表现出次线性遗憾边界，验证了理论收敛性保证。
• 所提算法在计算效率与可扩展性方面显著优于现有有界核方法。
• 实验结果表明，BOGD++相比均匀采样方法保持了更高的准确率-预算比。
• 该框架成功将支持向量数量限制在预设预算内，且未降低学习性能。
• 算法能有效扩展至大规模数据集，使核基在线学习在实际应用中更具可行性。