[论文解读] Approximation Vector Machines for Large-scale Online Learning

Trung Le, Tu Dinh Nguyen+2 more|arXiv (Cornell University)|Apr 22, 2016

Machine Learning and ELM参考文献 26被引用 4

一句话总结

该论文提出近似向量机（AVM），一种基于核函数的在线学习方法，通过在预设距离阈值内用邻近样本近似新数据实例，保持模型稀疏性和计算效率。理论分析表明，近似误差取决于近似频率和阈值，实验结果表明，AVM 在大规模分类与回归任务中实现了最先进性能，并显著提升了速度，同时保持了极小的模型尺寸。

ABSTRACT

One of the most challenging problems in kernel online learning is to bound the model size and to promote the model sparsity. Sparse models not only improve computation and memory usage, but also enhance the generalization capacity, a principle that concurs with the law of parsimony. However, inappropriate sparsity modeling may also significantly degrade the performance. In this paper, we propose Approximation Vector Machine (AVM), a model that can simultaneously encourage the sparsity and safeguard its risk in compromising the performance. When an incoming instance arrives, we approximate this instance by one of its neighbors whose distance to it is less than a predefined threshold. Our key intuition is that since the newly seen instance is expressed by its nearby neighbor the optimal performance can be analytically formulated and maintained. We develop theoretical foundations to support this intuition and further establish an analysis to characterize the gap between the approximation and optimal solutions. This gap crucially depends on the frequency of approximation and the predefined threshold. We perform the convergence analysis for a wide spectrum of loss functions including Hinge, smooth Hinge, and Logistic for classification task, and $l_1$, $l_2$, and $ε$-insensitive for regression task. We conducted extensive experiments for classification task in batch and online modes, and regression task in online mode over several benchmark datasets. The results show that our proposed AVM achieved a comparable predictive performance with current state-of-the-art methods while simultaneously achieving significant computational speed-up due to the ability of the proposed AVM in maintaining the model size.

研究动机与目标

• 为解决基于核函数的在线学习中的核化灾难问题，即模型尺寸随数据量线性增长。
• 在不牺牲预测性能的前提下保持模型稀疏性，平衡计算效率与泛化能力。
• 开发一种有理论依据的近似机制，以限制近似解与最优解之间的差距。
• 实现在大数据流上可扩展的、实时的学习，同时内存占用有界且推理速度快。
• 为分类与回归中常见的损失函数提供近似误差的理论保证。

提出的方法

• AVM 通过在预定义距离阈值 δ 内寻找最近邻，对每个到达的数据实例进行近似，从而通过用单个核心点代表多个点来减少模型尺寸。
• 该方法使用一组代表性点（核心点）构成紧凑模型，其中每个新实例若在 δ 范围内，则被映射到最近的核心点。
• 理论分析推导了合页损失、光滑合页损失、逻辑损失、ℓ1、ℓ2 和 ε-不敏感损失的近似误差边界，表明误差取决于 δ 和近似频率。
• 在特征空间中应用随机梯度下降（SGD）更新规则，利用核心点表示以保持计算效率。
• 模型采用增量方式更新：当新实例到达时，要么作为新核心点添加，要么被现有核心点近似，同时采用预算策略控制模型尺寸。
• 推导了权重向量的收敛性与范数边界，表明当 λ > 1 时，近似机制下模型具有稳定性。

实验结果

研究问题

• RQ1 如何在不降低泛化性能的前提下，有效在基于核函数的在线学习中强制实现模型稀疏性？
• RQ2 近似阈值 δ 与最优解中产生的误差之间存在何种理论关系？
• RQ3 近似频率如何影响近似模型与最优模型之间的性能差距？
• RQ4 是否可以在在线学习中维持有界的模型尺寸，同时在大规模数据集上保持高预测准确性？
• RQ5 在不同损失函数下，该近似机制的收敛性与稳定性特性如何？

主要发现

• AVM 在基准数据集的批量学习与在线学习设置中，均实现了与最先进方法相当的预测性能。
• 通过使用以超球体为基础的近似方法，δ = 7.0 时，在 a9a 数据集的三维投影中，模型尺寸从 1,000 个数据点大幅缩减至 20 个核心点。
• 理论分析证实，近似误差是有界的，且取决于阈值 δ 和近似操作的频率。
• 对于 ℓ2 损失，当 λ > 1 时，权重向量的范数被有界于 y_max / (λ - 1)，从而确保稳定性与收敛性。
• 当 λ ≤ 1 时，权重向量的范数无上界，表明存在一个模型稳定性的临界阈值。
• 实验结果表明，由于模型尺寸显著减小，计算速度大幅提升，且未牺牲预测准确性。