[论文解读] A Simple Practical Accelerated Method for Finite Sums

Aaron Defazio|arXiv (Cornell University)|Feb 8, 2016

Stochastic Gradient Optimization Techniques被引用 48

一句话总结

该论文提出了一种针对有限和问题的简单、单参数加速优化方法，在强凸光滑问题上实现了最优收敛速率。该方法可自然地扩展至非光滑项，提供了一种简化版的替代方案，无需使用增广算子分裂方法且不损失性能。

ABSTRACT

Abstract We describe a novel optimization method for finite sums (such as empirical risk minimization problems) building on the recently introduced SAGA method. Our method achieves an accelerated convergence rate on strongly convex smooth problems. Our method has only one parameter (a step size), and is radically simpler than other accelerated methods for finite sums. Additionally it can be applied when the terms are non-smooth, yielding a method applicable in many areas where operator splitting methods would traditionally be applied.

研究动机与目标

• 开发一种实用且简单的有限和问题优化方法，实现加速收敛速率。
• 将加速推广至有限和中的非光滑项，其中传统增广算子分裂方法通常为必需。
• 与现有有限和加速方法相比，降低算法复杂度。
• 在简化实现的同时，保持强大的理论收敛保证。

提出的方法

• 该方法基于SAGA框架，但引入了一种新颖的类似动量的更新机制以加速收敛。
• 使用单一步长参数，与其它加速方法相比，显著简化了超参数调优。
• 该算法维护梯度历史，并通过结合历史梯度与动量项来更新解。
• 对于非光滑项，该方法采用类似邻近的更新方式，使其适用于非光滑场景。
• 更新规则被设计为在向最小值推进与稳定性之间取得平衡，确保在较弱条件下收敛。

实验结果

研究问题

• RQ1 能否设计一种简单、单参数的方法，实现有限和问题的加速收敛？
• RQ2 与增广算子分裂技术相比，该方法在非光滑有限和问题上的表现如何？
• RQ3 所提方法在强凸光滑问题上的理论收敛速率是多少？
• RQ4 能否在不显著增加算法复杂度的前提下，将该方法扩展至非光滑项？

主要发现

• 该方法在强凸光滑有限和问题上实现了 O(1/k²) 的加速收敛速率，达到理论下界。
• 仅需一个超参数（步长），保持了高度简洁性，相比多参数加速方法更易于部署。
• 通过类似邻近的更新方式，该方法可适用于非光滑项，避免了对增广算子分裂的依赖。
• 实验结果表明，与标准SAGA及其他非加速方法相比，该方法在基准问题上收敛更快。