[论文解读] Finito: A Faster, Permutable Incremental Gradient Method for Big Data Problems

Aaron Defazio, Tibério S. Caetano+1 more|arXiv (Cornell University)|Jul 10, 2014

Stochastic Gradient Optimization Techniques参考文献 4被引用 101

一句话总结

Finito 提出了一种新颖的增量梯度方法，用于最小化大规模有限和问题，其理论收敛速率比现有方法快四倍，尤其适用于项数众多的问题。通过采用无放回采样方案，该方法进一步提升了实际性能，在实验评估中表现出最先进水平。

ABSTRACT

Recent advances in optimization theory have shown that smooth strongly convex finite sums can be minimized faster than by treating them as a black box "batch" problem. In this work we introduce a new method in this class with a theoretical convergence rate four times faster than ex-isting methods, for sums with sufficiently many terms. This method is also amendable to a sampling without replacement scheme that in practice gives further speed-ups. We give empirical results showing state of the art performance.

研究动机与目标

• 开发一种针对大规模有限和问题的更快优化方法，此类问题在大数据应用中普遍存在。
• 通过利用问题结构，超越传统批量方法，提升收敛速度。
• 设计一种支持无放回采样的方法，以增强实际性能。
• 在理论和实证层面均优于现有增量梯度方法。

提出的方法

• Finito 引入了一种专为光滑、强凸有限和问题设计的新颖增量梯度算法。
• 在标准假设下，其理论收敛速率比现有方法快四倍。
• 该方法支持无放回采样方案，从而提升实际收敛速度。
• 通过方差缩减方法，在增量处理数据的同时保持快速收敛。
• 该算法设计为可重排的，支持高效的数据重排序以提升性能。
• 该方法将有限和视为结构化问题，而非黑箱批量问题。

实验结果

研究问题

• RQ1 能否设计一种新型增量梯度方法，显著加快大规模有限和问题的收敛速度？
• RQ2 无放回采样在实际中如何影响增量梯度方法的收敛速度？
• RQ3 理论收敛速率的提升是否能转化为实际性能的增益？
• RQ4 光滑、强凸有限和问题的理论收敛速度极限是什么？
• RQ5 Finito 在实证基准测试中与最先进方法相比表现如何？

主要发现

• 对于项数足够多的问题，Finito 的理论收敛速率比现有增量梯度方法快四倍。
• 该方法在大规模数据问题上表现出最先进水平的实证性能。
• 无放回采样在实践中提供了可测量的速度提升，使收敛速度超越理论界限。
• 该算法通过利用有限和的结构而非将其视为批量问题，保持了快速收敛。
• 实证结果证实，Finito 在速度和收敛速率方面均优于现有方法。