[论文解读] Iteration Complexity Analysis of Block Coordinate Descent Methods

Mingyi Hong, Xiangfeng Wang+2 more|arXiv (Cornell University)|Oct 25, 2013

Sparse and Compressive Sensing Techniques参考文献 27被引用 33

一句话总结

本文在块逐次上界最小化（BSUM）框架下，对块坐标下降（BCD）方法提供了统一的迭代复杂度分析，表明一大类多块非光滑凸问题可实现全局次线性收敛速率 O(1/r)。此外，通过采用高斯-赛德尔规则，该研究进一步证明了在两区块问题中可获得改进的 O(1/r²) 收敛速率，即使在每区块不具强凸性的情况下亦成立。

ABSTRACT

In this paper, we provide a unified iteration complexity analysis for a family of general block coordinate descent (BCD) methods, covering popular methods such as the block coordinate gradient descent (BCGD) and the block coordinate proximal gradient (BCPG), under various different coordinate update rules. We unify these algorithms under the so-called Block Successive Upper-bound Minimization (BSUM) framework, and show that for a broad class of multi-block nonsmooth convex problems, all algorithms covered by the BSUM framework achieve a global sublinear iteration complexity of $O(1/r)$, where r is the iteration index. Moreover, for the case of block coordinate minimization (BCM) where each block is minimized exactly, we establish the sublinear convergence rate of $O(1/r)$ without per block strong convexity assumption. Further, we show that when there are only two blocks of variables, a special BSUM algorithm with Gauss-Seidel rule can be accelerated to achieve an improved rate of $O(1/r^2)$.

研究动机与目标

• 在单一框架下统一多区块非光滑凸问题的块坐标下降（BCD）方法收敛性分析。
• 为包括 BCGD、BCPG 和 BCM 在内的各类 BCD 类算法建立全局次线性迭代复杂度 O(1/r) 分析，适用于多种更新规则。
• 证明即使在每区块不具强凸性的情况下，BCM 算法的 O(1/r) 收敛速率依然成立，从而扩展了其适用范围。
• 证明当仅存在两个区块时，采用高斯-赛德尔规则的特殊 BSUM 算法可实现改进的 O(1/r²) 收敛速率。
• 将分析扩展至非强凸上界情形，以及随机或排列选择坐标的情况。

提出的方法

• 作者在块逐次上界最小化（BSUM）框架下统一了 BCD 类算法，该框架通过依次最小化目标函数的上界，推广了 BCGD、BCPG 和 BCM。
• 他们采用三步收敛论证：(1) 剩余代价估计，(2) 子梯度变化的有界性分析，(3) 通过误差项求和推导迭代复杂度。
• 针对两区块情形，通过利用高斯-赛德尔更新的结构特性，并有界化连续迭代之间的差异，推导出二次收敛速率。
• 分析依赖于 g(·) 的光滑性、h_k(·) 的凸性，以及上界函数 q_k(·;·) 的正则性条件，以确保收敛性。
• 他们将结果扩展至非强凸上界情形，以及随机或排列选择坐标的情况，证明 O(1/r) 速率依然成立。
• 对于线性收敛，他们识别出满足误差界条件的条件，包括多面体上图和满列秩矩阵。

实验结果

研究问题

• RQ1 能否在单一框架下为多样化的 BCD 类算法开发统一的收敛性分析？
• RQ2 在每区块不具强凸性的情况下，多区块非光滑凸问题的 BCD 方法的全局迭代复杂度是什么？
• RQ3 对于特定更新规则（如两区块情形下的高斯-赛德尔规则），是否可实现超越 O(1/r) 的收敛速率？
• RQ4 当上界函数不具强凸性时，BSUM 算法的 O(1/r) 速率是否依然成立？
• RQ5 在何种条件下 BCD 方法可实现线性收敛而非次线性收敛？

主要发现

• 在 BSUM 框架下，所有 BCD 类算法对多区块非光滑凸问题均实现全局次线性收敛速率 O(1/r)。
• 块坐标最小化（BCM）算法在不需每区块强凸性的情况下，仍可实现 O(1/r) 收敛速率。
• 对于采用高斯-赛德尔规则的两区块问题，特殊 BSUM 算法可实现改进的 O(1/r²) 收敛速率。
• 当上界函数不具强凸性但满足假设 B 时，O(1/r) 速率依然成立。
• 分析可扩展至随机或排列选择坐标的情形，且无需在迭代间保持固定顺序，O(1/r) 速率仍被保持。
• 在假设 F（多面体集、满列秩矩阵及结构化 h_k）下，BCM 算法通过满足误差界条件，可实现线性收敛。