[论文解读] Alternating Randomized Block Coordinate Descent

Jelena Diakonikolas, Lorenzo Orecchia|OpenBU (Boston University)|May 23, 2018

Stochastic Gradient Optimization Techniques参考文献 19被引用 7

一句话总结

本文提出 AR-BCD，一种新颖的块坐标下降算法，其在单个块（可能非光滑）上交替进行精确优化，同时在另一个随机选择的块上执行梯度步长。该方法实现了与最不光滑块的平滑性无关的收敛速率，将交替最小化推广至多于两个块的情形，并通过其加速变体 AAR-BCD 实现了首个加速的交替最小化算法。

ABSTRACT

Block-coordinate descent algorithms and alternating minimization methods are fundamental optimization algorithms and an important primitive in large-scale optimization and machine learning. While various block-coordinate-descent-type methods have been studied extensively, only alternating minimization -- which applies to the setting of only two blocks -- is known to have convergence time that scales independently of the least smooth block. A natural question is then: is the setting of two blocks special? We show that the answer is "no" as long as the least smooth block can be optimized exactly -- an assumption that is also needed in the setting of alternating minimization. We do so by introducing a novel algorithm AR-BCD, whose convergence time scales independently of the least smooth (possibly non-smooth) block. The basic algorithm generalizes both alternating minimization and randomized block coordinate (gradient) descent, and we also provide its accelerated version -- AAR-BCD. As a special case of AAR-BCD, we obtain the first nontrivial accelerated alternating minimization algorithm.

研究动机与目标

• 解决交替最小化（收敛性独立于最不光滑块）的有利收敛尺度是否仅限于两块情形，还是可推广至更多块的情形。
• 设计一种块坐标下降方法，使得在可对某一块进行精确优化的前提下，其收敛速度独立于该块的平滑性。
• 开发一种加速变体，实现最优的 O(1/k²) 收敛速率，且不依赖于最不光滑块的平滑性。
• 统一并推广现有方法：随机块坐标下降与交替最小化，同时实现加速。

提出的方法

• AR-BCD 在固定块（可能非光滑）上交替执行精确最小化，同时在其余块中随机选择一个块执行随机梯度下降。
• 该算法使用与块平滑性参数成比例的概率来选择执行梯度步长的块。
• AAR-BCD 是 AR-BCD 的加速版本，通过引入 Nesterov 风格的动量和分块更新策略，实现 O(1/k²) 的收敛速率。
• 分析方法将 Diakonikolas & Orecchia (2017) 提出的近似对偶间隙技术扩展至更一般情形，从而提供更简洁且通用的收敛性证明。
• 该方法同时推广了随机块坐标下降（RCDM）与交替最小化：当非光滑块不存在时，退化为 RCDM；当仅有两个块时，退化为交替最小化。
• 对于加速方法，采样概率设置为与 √L_i 成比例，以在非均匀平滑性分布下提升性能。

实验结果

研究问题

• RQ1 交替最小化（两块情形）所具有的收敛性独立于最不光滑块的特性，是否可推广至多于两块的问题？
• RQ2 是否可设计一种块坐标下降算法，使得在可对某一块进行精确优化的前提下，其收敛速度独立于该块的平滑性？
• RQ3 此类方法的加速变体是否可实现最优的 O(1/k²) 收敛速率，且不依赖于最不光滑块的平滑性？
• RQ4 当对非光滑块应用精确最小化时，所提方法是否在性能上优于标准 RCDM 与 C-BCD，即使现有理论无法预测此类改进？

主要发现

• AR-BCD 实现了 O(∑_{i=1}^{n-1} L_i / ε) 的收敛速率，且不依赖于用于精确最小化的块的平滑性 L_n，从而将交替最小化推广至多于两个块的情形。
• AAR-BCD 实现了不依赖于最不光滑块平滑性的 O(1/k²) 加速收敛速率，提供了首个加速的交替最小化算法。
• 当非光滑块不存在时，AAR-BCD 恢复了块坐标下降目前已知的最快收敛界，与 Qu & Richtárik (2016)、Allen-Zhu 等 (2016) 及 Nesterov (2012) 的结果一致。
• 实验结果表明，AR-BCD 在平滑性参数高度非均匀时，显著优于 RCDM 与 C-BCD；AAR-BCD 在此类条件下显著优于 APCG 与 NU_ACDM。
• 尽管现有理论边界无法预测此类改进，AR-BCD 在性能上仍表现出对标准 RCDM 与 C-BCD 的显著优势，提示未来分析可能存在更紧的理论界限。
• 随着块大小增加及平滑性差异扩大，AAR-BCD 相较其他方法表现出显著改进，尤其在非均匀采样（按 √L_i 比例）时更为明显。