[论文解读] Asynchronous Stochastic Block Coordinate Descent with Variance Reduction

Bin Gu, Zhouyuan Huo+1 more|arXiv (Cornell University)|Oct 29, 2016

Stochastic Gradient Optimization Techniques参考文献 33被引用 8

一句话总结

该论文提出 AsySBCDVR，一种用于复合凸优化的异步随机块坐标下降算法，结合方差缩减技术，实现无锁并行计算。在强凸性条件下实现线性收敛，在其他情况下实现次线性收敛，且在共享内存系统上实现近似线性加速，从而支持大规模数据的可扩展学习，尤其适用于高维和大规模样本场景。

ABSTRACT

Asynchronous parallel implementations for stochastic optimization have received huge successes in theory and practice recently. Asynchronous implementations with lock-free are more efficient than the one with writing or reading lock. In this paper, we focus on a composite objective function consisting of a smooth convex function $f$ and a block separable convex function, which widely exists in machine learning and computer vision. We propose an asynchronous stochastic block coordinate descent algorithm with the accelerated technology of variance reduction (AsySBCDVR), which are with lock-free in the implementation and analysis. AsySBCDVR is particularly important because it can scale well with the sample size and dimension simultaneously. We prove that AsySBCDVR achieves a linear convergence rate when the function $f$ is with the optimal strong convexity property, and a sublinear rate when $f$ is with the general convexity. More importantly, a near-linear speedup on a parallel system with shared memory can be obtained.

研究动机与目标

• 解决大规模机器学习与计算机视觉中，样本量和维度均极大的场景下对可扩展优化的需求。
• 克服现有异步随机算法的局限性，这些算法要么为原子级（单坐标）更新，要么缺乏对块坐标更新的理论保证。
• 设计一种无锁、可并行化的算法，支持块级更新与方差缩减，以提升收敛性能。
• 在保持共享内存系统上近似线性加速的同时，确保理论收敛性保证——强凸性下为线性收敛，否则为次线性收敛。

提出的方法

• 提出 AsySBCDVR，一种使用双重随机机制的异步随机块坐标下降算法，每轮迭代中随机选择一个坐标块和一个数据样本。
• 将方差缩减技术（如 SVRG 风格）集成到块坐标框架中，以加速收敛。
• 在实现与分析中均设计为无锁，避免在共享内存并行系统中出现同步瓶颈。
• 采用扰动迭代框架分析异步环境下的收敛性，考虑延迟更新与旧梯度的影响。
• 定义一个李雅普诺夫函数 $ S(x^s) = ext{E}ig[igracevert x^s - ext{Proj}_S(x^s) igracevert^2ig] + rac{2 au}{L_{ ext{max}}} ext{E}[F(x^s) - F^*] $ 来追踪进展并推导收敛边界。
• 通过界定每轮迭代中李雅普诺夫函数的期望下降量，建立收敛速率，利用目标函数的光滑性、凸性以及块可分性。

实验结果

研究问题

• RQ1 具有方差缩减的异步块坐标下降方法是否能在平滑分量 $ f $ 为强凸时实现线性收敛？
• RQ2 所提出的 AsySBCDVR 算法在一般凸性条件下是否仍能保持收敛？其收敛速率如何？
• RQ3 在无锁的共享内存并行系统中，该算法是否能实现近似线性加速？
• RQ4 与异步设置下的单坐标更新相比，块坐标更新机制对收敛性有何影响？
• RQ5 在异步与旧梯度存在的情况下，对具有方差缩减的异步块方法可建立哪些理论保证？

主要发现

• 当平滑分量 $ f $ 为强凸时，AsySBCDVR 实现线性收敛速率 $ ig(1 - rac{2m au l}{2k(l au + L_{ ext{max}})}ig)^s $，其中 $ m $ 为块数，$ k $ 为总块数，$ l $ 为强凸性参数，$ au $ 为步长。
• 在一般凸性条件下，AsySBCDVR 实现 $ O(1/s) $ 的次线性收敛速率，与同类方法的最佳已知速率一致。
• 由于其无锁设计，该算法在共享内存系统上保持了近似线性加速，实现了对样本量和维度的高效可扩展性。
• 理论分析表明，每轮迭代中李雅普诺夫函数的期望下降量有界，确保了在异步与延迟更新条件下的收敛性。
• 由于 $ g(x) $ 的块可分结构，该方法适用于多种机器学习问题，包括 Lasso、组 Lasso 和稀疏多分类问题。
• 收敛分析考虑了块更新带来的复杂性，其复杂度高于原子级单坐标更新，且在异步环境下建立了严格的边界。