[论文解读] A Randomized Block-Coordinate Primal-Dual Method for Large-scale Stochastic Saddle Point Problems

Erfan Yazdandoost Hamedani, Afrooz Jalilzadeh+1 more|arXiv (Cornell University)|Jul 8, 2019

Computational Geometry and Mesh Generation参考文献 36被引用 4

一句话总结

本文提出了一种用于大规模有限和凸-凹鞍点问题的双重随机化块坐标原始-对偶算法，结合了随机化块更新与渐进方差减少技术。该算法实现了 $Θ(\log K / K)$ 的遍历收敛速率，与确定性方法的最佳已知速率一致，并在温和假设下建立了几乎必然收敛到鞍点的性质。

ABSTRACT

We consider (stochastic) convex-concave saddle point (SP) problems with high-dimensional decision variables, arising in various applications including machine learning problems. To contend with the challenges in computing full gradients, we employ a randomized block-coordinate primal-dual scheme in which randomly selected primal and dual blocks of variables are updated. We consider both deterministic and stochastic settings, where deterministic partial gradients and their randomly sampled estimates are used, respectively, at each iteration. We investigate the convergence of the proposed method under different blocking strategies and provide the corresponding complexity results. While the best-known computational complexity result for computing a saddle point with $\varepsilon$ primal-dual gap for deterministic primal-dual methods using full gradients is $\mathcal O(\max\{m,n\}^2/\varepsilon)$, where $m$ and $n$ denote the dimensions of primal and dual variables, respectively, we show that our proposed randomized block-coordinate method achieves an improved complexity of $\mathcal O(mn/\varepsilon)$ assuming a coordinate-friendly structure on the problem. Moreover, for the stochastic setting where a mini-batch sample gradient is utilized, we show a computational complexity of $ ilde{\mathcal{O}}(m^2n^2/\varepsilon^2)$ through acceleration. Finally, almost sure convergence of the iterate sequence to a saddle point is established.

研究动机与目标

• 为机器学习中出现的大规模凸-凹鞍点问题（如鲁棒分类和核矩阵学习）提供解决方案，这些问题具有有限和结构。
• 开发一种高效算法，以处理非双线性耦合函数以及大量原始-对偶块变量。
• 即使在使用随机梯度近似的情况下，也能实现接近确定性的收敛速率（仅多一个对数因子）。
• 在温和假设下，建立迭代序列几乎必然收敛到鞍点的性质。
• 将方差减少技术扩展至块坐标、非双线性鞍点问题。

提出的方法

• 该算法采用随机化块坐标方案，即在每次迭代中随机选择一对原始块和对偶块 $(i_k, j_k)$ 进行更新。
• 通过随时间增加梯度的批量大小，实现渐进方差减少，从而降低随机估计的方差。
• 该方法引入了块特定的步长 $\tau_i$ 和 $\sigma_j$，以提升收敛速度并增强自适应性。
• 采用双重随机化框架：随机选择块以及在有限和中随机采样分量函数。
• 通过引入Bregman散度项，采用类似近端的更新方式，以处理非光滑分量 $f_i$ 和 $h_j$。
• 通过李雅普诺夫函数和间隙度量对收敛性进行分析，利用有限和、非双线性鞍点问题的结构特征。

实验结果

研究问题

• RQ1 能否设计一种随机化块坐标原始-对偶方法，使其在有限和、非双线性鞍点问题上实现非渐近收敛速率 $\mathcal{O}(\log K / K)$？
• RQ2 通过增加批量大小实现的渐进方差减少，是否能提升具有块更新的大规模鞍点问题的收敛性能？
• RQ3 在随机块选择和随机梯度下，能否证明迭代序列几乎必然收敛到鞍点？
• RQ4 所提方法的收敛速率是否与确定性原始-对偶方法相当（仅多一个对数因子）？
• RQ5 块特定步长和随机块选择在非双线性、大规模问题中的收敛性影响如何？

主要发现

• 所提算法通过方差减少技术，实现了 $\mathcal{O}(\log K / K)$ 的遍历收敛速率，这是首个针对有限和、非双线性鞍点问题的专用方法获得此类速率结果。
• 在单样本梯度情况下，获得了非渐近收敛速率 $\mathcal{O}(\log K / \sqrt{K})$，与随机方法的最佳已知速率一致。
• 在块选择过程在马尔可夫链中构成单一常返类的假设下，证明了迭代序列几乎必然收敛到鞍点。
• 收敛性分析表明，间隙度量以 $\mathcal{O}(\log K / K)$ 的速率衰减，与最佳已知确定性速率一致，仅多一个对数因子。
• 该方法适用于具有大量约束和非双线性耦合项的问题，如鲁棒分类和核矩阵学习中出现的问题。
• 理论结果通过李雅普诺夫函数和基于间隙的分析得到支持，收敛性在较弱的可微性和凸性假设下得以证明。