[论文解读] Fast Stochastic Bregman Gradient Methods: Sharp Analysis and Variance Reduction

Radu-Alexandru Dragomir, Mathieu Even+1 more|arXiv (Cornell University)|Apr 20, 2021

Stochastic Gradient Optimization Techniques参考文献 40被引用 4

一句话总结

本文提出了一种快速随机Bregman梯度方法，结合精确的收敛性分析与方差缩减技术，表明在插值设定下，Bregman随机梯度下降（BSGD）可收敛至精确最小值点，并在有限和问题中通过方差缩减实现快速收敛。所提出的BSAGA算法在断层扫描重建与分布式优化任务中达到当前最优性能，尽管其理论分析依赖于参考函数的正则性假设，仍展现出实际效率。

ABSTRACT

We study the problem of minimizing a relatively-smooth convex function using stochastic Bregman gradient methods. We first prove the convergence of Bregman Stochastic Gradient Descent (BSGD) to a region that depends on the noise (magnitude of the gradients) at the optimum. In particular, BSGD with a constant step-size converges to the exact minimizer when this noise is zero (\\emph{interpolation} setting, in which the data is fit perfectly). Otherwise, when the objective has a finite sum structure, we show that variance reduction can be used to counter the effect of noise. In particular, fast convergence to the exact minimizer can be obtained under additional regularity assumptions on the Bregman reference function. We illustrate the effectiveness of our approach on two key applications of relative smoothness: tomographic reconstruction with Poisson noise and statistical preconditioning for distributed optimization.

研究动机与目标

• 在相对光滑性与强凸性背景下，为Bregman随机梯度下降（BSGD）提供紧致的收敛性保证。
• 分析BSGD在插值设定下的行为，即在最优解处噪声为零的情形。
• 提出并分析一种具有方差缩减的Bregman版本SAGA算法（BSAGA），适用于有限和问题。
• 展示方差缩减Bregman方法在关键应用（如泊松反问题与分布式优化）中的实际有效性。
• 研究参考函数h的高阶正则性在实现快速收敛速率中的作用。

提出的方法

• 本文利用由严格凸且二次连续可微的参考函数h定义的Bregman散度，推广标准梯度下降方法。
• 建立BSGD收敛至最小值点邻域的理论结果，其邻域大小取决于最优解处的噪声幅度，并在插值设定下实现精确收敛。
• 针对有限和问题，提出BSAGA，即SAGA的Bregman类比算法，通过维护与更新梯度估计以降低方差。
• 理论分析表明，在h具有额外正则性假设（如二次型或Lipschitz连续Hessian）时，可实现对精确最小值点的快速收敛。
• 该方法通过对偶变量更新实现镜像下降：∇h(x_{t+1}) = ∇h(x_t) - η_t g_t。
• 本文分析了梯度噪声G_t可能较大的瞬态阶段，并表明尽管理论边界较为保守，实际性能依然强劲。

实验结果

研究问题

• RQ1 在何种条件下，BSGD会收敛至精确最小值点而非其邻域？
• RQ2 能否有效将方差缩减技术适配至Bregman梯度方法，以在有限和问题中实现快速收敛？
• RQ3 参考函数h的高阶正则性特征如何影响Bregman方法中的收敛速率？
• RQ4 方差缩减Bregman方法在真实世界应用（如断层扫描重建与分布式优化）中的实际性能如何？
• RQ5 在非欧几里得设定下，参考函数h的选择在多大程度上影响收敛速度与稳定性？

主要发现

• 当最优解处的噪声为零时，即处于插值设定下，BSGD可收敛至精确最小值点。
• 在有限和情形下，通过BSAGA实现的方差缩减可在参考函数h满足额外正则性假设时，实现对精确最小值点的快速收敛。
• 在泊松噪声的断层扫描重建任务中，BSAGA的性能与当前最优的MU算法相当。
• 在分布式优化中，BSAGA优于BGD与BSGD，尤其在BSGD因方差饱和而性能停滞的初始阶段后表现更优。
• 尽管理论分析偏保守，实际中恒定步长已足够实现收敛，表明梯度噪声G_t对优化进展的阻碍程度远低于理论推测。
• 在测试应用中，高G_t的瞬态阶段并未显著影响性能，表明该方法在真实场景中具有鲁棒性。