[论文解读] Complexity Issues and Randomization Strategies in Frank-Wolfe Algorithms for Machine Learning

Emanuele Frandi, Ricardo Ñanculef+1 more|arXiv (Cornell University)|Oct 15, 2014

Quantum Computing Algorithms and Architecture被引用 6

一句话总结

本文研究了在大规模机器学习中，特别是支持向量机（SVM）训练时，减少Frank-Wolfe（FW）算法计算成本的随机化策略。评估了随机工作集选择和解析梯度更新方法，发现当采样大小相对于活跃集大小较小时，随机采样在超大规模数据集上表现有效；而在具有有利结构的中等至大规模数据集上，解析更新优于随机化方法。

ABSTRACT

Frank-Wolfe algorithms for convex minimization have recently gained considerable attention from the Optimization and Machine Learning communities, as their properties make them a suitable choice in a variety of applications. However, as each iteration requires to optimize a linear model, a clever implementation is crucial to make such algorithms viable on large-scale datasets. For this purpose, approximation strategies based on a random sampling have been proposed by several researchers. In this work, we perform an experimental study on the effectiveness of these techniques, analyze possible alternatives and provide some guidelines based on our results.

研究动机与目标

• 解决每次Frank-Wolfe迭代中求解线性子问题的高计算成本，特别是在大规模机器学习应用中。
• 研究随机采样策略（特别是随机工作集选择）在近似线性子问题解方面的有效性。
• 将随机化方法与利用问题结构以降低迭代成本的解析梯度更新技术进行比较。
• 基于数据集大小和问题结构，提供关于何时使用随机化与解析更新的经验指导。
• 分析近似对收敛性、对偶间隙估计和解质量的影响，特别是对过早停止和精度的影响。

提出的方法

• 通过从全部 m 个数据点中采样一个小的索引子集 𝒮 来提出随机工作集选择，以计算搜索方向，将计算成本从 O(m|𝒫|) 降低到 O(|𝒮||𝒫|)，其中 |𝒫| 为活跃点的数量。
• 利用定理1（来自[16]）证明，小样本（例如 |𝒮| ≈ 60）可高概率地选出所有分量中最小的5%的梯度分量。
• 当避免完整梯度计算时，引入近似对偶间隙 Δ𝒮(α^(k)) = 2f(α^(k)) − ∇f(α^(k))_i*𝒮 作为停止准则。
• 采用线搜索策略进行步长选择，并在FW更新中比较完整梯度与随机梯度计算。
• 在 Adult、a9a 和 USPS-ext 数据集上进行实验，以评估不同采样大小下的收敛路径、对偶间隙行为和测试精度。
• 提出基于对偶间隙差异的自适应策略，以在完整计算与随机计算之间切换，尽管实现细节被推迟。

实验结果

研究问题

• RQ1 在大规模SVM训练的Frank-Wolfe算法中，随机工作集选择在降低计算成本的同时，对保持收敛质量有多有效？
• RQ2 使用近似对偶间隙 Δ𝒮(α^(k)) 在多大程度上会损害收敛性监控并导致过早停止？
• RQ3 在哪些问题场景下（例如数据集大小、结构），解析梯度更新优于随机采样？
• RQ4 采样大小和随机变异性如何影响对偶间隙路径和最终模型性能的稳定性与准确性？
• RQ5 能否设计出自适应策略，基于性能指标自动选择使用完整计算还是随机计算？

主要发现

• 当 |𝒮| ≈ 60 时，随机工作集选择可实现95%的概率，选出所有分量中最小的5%的梯度分量，从而支持小样本大小的合理性。
• 在 Adult 和 a9a 数据集上，使用近似间隙 Δ𝒮(α^(k)) 的对偶间隙路径与精确间隙 Δ𝒹(α^(k)) 非常接近，表明性能退化可忽略。
• 在更大的 USPS-ext 数据集上，近似间隙 Δ𝒮(α^(k)) 显示出显著振荡，并低估了真实对偶间隙，增加了过早停止的风险。
• 尽管在 USPS-ext 上对偶间隙较大，但测试精度保持稳定，表明分类问题可能对次优解具有鲁棒性，但这一特性不能推广到所有应用场景。
• 当问题结构（例如二次形式）允许时，解析梯度更新提供了一种确定且更快的替代方案，在中等至大规模数据集上优于随机化方法。
• 完整采样策略（即随机工作集）在较小问题上非常有效，但在最大数据集（USPS-ext）上变得计算上不可行，凸显了对可扩展替代方案的需求。