[论文解读] Block stochastic gradient iteration for convex and nonconvex optimization

Yangyang Xu, Wotao Yin|arXiv (Cornell University)|Aug 12, 2014

Sparse and Compressive Sensing Techniques参考文献 46被引用 5

一句话总结

本文提出块随机梯度（BSG）方法，将随机梯度逼近与高斯-赛德尔块坐标更新相结合，用于凸与非凸优化。在凸情况下，BSG达到与随机梯度方法相同的收敛速率；在非凸情况下，通过期望一阶最优性违反度量实现全局收敛，优于SG和确定性BCD在大规模问题上的表现。

ABSTRACT

The stochastic gradient (SG) method can minimize an objective function composed of a large number of differentiable functions, or solve a stochastic optimization problem, to a moderate accuracy. The block coordinate descent/update (BCD) method, on the other hand, handles problems with multiple blocks of variables by updating them one at a time; when the blocks of variables are easier to update individually than together, BCD has a lower per-iteration cost. This paper introduces a method that combines the features of SG and BCD for problems with many components in the objective and with multiple (blocks of) variables. Specifically, a block stochastic gradient (BSG) method is proposed for solving both convex and nonconvex programs. At each iteration, BSG approximates the gradient of the differentiable part of the objective by randomly sampling a small set of data or sampling a few functions from the sum term in the objective, and then, using those samples, it updates all the blocks of variables in either a deterministic or a randomly shuffled order. Its convergence for both convex and nonconvex cases are established in different senses. In the convex case, the proposed method has the same order of convergence rate as the SG method. In the nonconvex case, its convergence is established in terms of the expected violation of a first-order optimality condition. The proposed method was numerically tested on problems including stochastic least squares and logistic regression, which are convex, as well as low-rank tensor recovery and bilinear logistic regression, which are nonconvex.

研究动机与目标

• 解决目标函数中包含大量分量且变量具有多个块的大规模优化问题。
• 结合随机梯度方法的效率与块坐标下降的结构感知更新。
• 开发一种在非独立同分布（non-iid）与非无偏随机梯度下仍保持收敛保证的方法。
• 在凸与非凸问题上评估性能，包括低秩张量恢复与双线性逻辑回归。

提出的方法

• 提出一种块随机梯度（BSG）方法，按高斯-赛德尔顺序更新变量块，使用随机梯度处理目标函数的平滑部分。
• 利用更小的每块Lipschitz常数，允许比标准SG更大的步长，从而提升收敛速度。
• 对非平滑正则化项 $ r_i({\mathbf{x}}_i) $（如 $ \ell_1 $-范数）采用近端更新。
• 采用随机重排或固定顺序进行块更新，实现高效且稳定的收敛。
• 通过非独立同分布（non-iid）随机梯度建立收敛性，放宽了典型无偏性假设。
• 采用确保在凸与非凸设置下收敛的步长规则。

实验结果

研究问题

• RQ1 块-wise 随机梯度方法是否在收敛速度与精度上优于标准随机梯度方法？
• RQ2 结合随机梯度的高斯-赛德尔块更新是否在非凸问题中保持收敛性？
• RQ3 在具有高维、结构化目标函数的非凸问题上，BSG与确定性块坐标下降相比表现如何？
• RQ4 BSG是否能在凸设置下实现与SG相同的收敛速率，同时处理块结构目标函数？
• RQ5 块-wise 步长与每块Lipschitz常数对收敛性能有何影响？

主要发现

• 在凸情况下，BSG达到与标准随机梯度方法相同的次线性收敛速率，匹配理论下界。
• 在非凸情况下，BSG以期望方式全局收敛至一阶平稳点，通过最优性条件的期望违反度量。
• 在凸问题（如随机最小二乘与逻辑回归）中，BSG在收敛速度与最终目标值上显著优于标准SG。
• 在非凸问题（如低秩张量恢复与双线性逻辑回归）中，BSG优于确定性BCD，后者常在较差局部极小值附近过早停滞。
• 基于每块Lipschitz常数的块-wise 步长设计，使BSG能够采用更大步长，从而比标准SG实现更快收敛。
• 数值结果证实，BSG兼具随机方法的可扩展性与块坐标方法的结构感知更新，使其在大规模非凸问题中表现高效。