[論文レビュー] Iteration Complexity Analysis of Block Coordinate Descent Methods

Mingyi Hong, Xiangfeng Wang+2 more|arXiv (Cornell University)|Oct 25, 2013

Sparse and Compressive Sensing Techniques参考文献 27被引用数 33

ひとこと要約

本稿は、ブロック逐次上界最小化（BSUM）フレームワークの下で、ブロック座標降下（BCD）法の統一的反復複雑度解析を提供し、多ブロック非滑らか凸問題の広いクラスがグローバルなサブ線形収束速度 O(1/r) を達成することを示している。さらに、2ブロック問題においてガウス＝ザイデル則を用いることで、各ブロックの強い凸性がなくても O(1/r²) の改善された収束速度が達成されることを示している。

ABSTRACT

In this paper, we provide a unified iteration complexity analysis for a family of general block coordinate descent (BCD) methods, covering popular methods such as the block coordinate gradient descent (BCGD) and the block coordinate proximal gradient (BCPG), under various different coordinate update rules. We unify these algorithms under the so-called Block Successive Upper-bound Minimization (BSUM) framework, and show that for a broad class of multi-block nonsmooth convex problems, all algorithms covered by the BSUM framework achieve a global sublinear iteration complexity of $O(1/r)$, where r is the iteration index. Moreover, for the case of block coordinate minimization (BCM) where each block is minimized exactly, we establish the sublinear convergence rate of $O(1/r)$ without per block strong convexity assumption. Further, we show that when there are only two blocks of variables, a special BSUM algorithm with Gauss-Seidel rule can be accelerated to achieve an improved rate of $O(1/r^2)$.

研究の動機と目的

• 多ブロック非滑らか凸問題におけるブロック座標降下（BCD）法の収束解析を、一つのフレームワークで統一すること。
• さまざまな更新ルールの下で、BCGD、BCPG、BCM を含む広いクラスのBCD型アルゴリズムに対して、グローバルなサブ線形反復複雑度 O(1/r) を確立すること。
• 各ブロックの強い凸性がなくても、BCM が O(1/r) 収束を達成することを示し、適用範囲を拡大すること。
• 2つのブロックのみが存在する場合に、ガウス＝ザイデル則を用いた特別なBSUMアルゴリズムが、改善された O(1/r²) 収束速度を達成することを示すこと。
• 強い凸性のない上界関数のケースおよび確率的・並び替えられた座標選択のケースへの分析を拡張すること。

提案手法

• 著者らは、BCGD、BCPG、BCM を一般化する形で、逐次的に目的関数の上界を最小化する Block Successive Upper-bound Minimization（BSUM）フレームワークに、BCD型アルゴリズムを統一的に組み込む。
• 3段階の収束解析を採用する：(1) コスト・トゥ・ゴー推定、(2) 部分勾配の変動のバインド、(3) エラー項の和を用いた反復複雑度の導出。
• 2ブロックケースでは、ガウス＝ザイデル更新の構造を活用し、連続する反復間の差をバインドすることで、2次収束速度を導出する。
• 収束を保証するため、g(·) の滑らかさ、h_k(·) の凸性、および上界関数 q_k(·;·) の正則性条件を仮定する。
• 非強い凸性を持つ上界関数や確率的・並び替えられた座標選択のケースに対しても結果を拡張し、O(1/r) の収束速度が維持されることを示す。
• 線形収束のため、誤差バインディング条件が成立する条件を同定する。これには多面体の上位集合やフルランク行列が含まれる。

実験結果

リサーチクエスチョン

• RQ1 多様なBCD型アルゴリズムを、一つのフレームワークで統一的に収束解析できるか？
• RQ2 各ブロックの強い凸性がなくても、多ブロック非滑らか凸問題に対するBCD法のグローバル反復複雑度は何か？
• RQ3 特定の更新ルール（例：2ブロック問題におけるガウス＝ザイデル則）を用いることで、O(1/r) よりも速い収束速度が達成可能か？
• RQ4 上界関数が強い凸性を持たない場合に、BSUMアルゴリズムの O(1/r) 収束速度は成立するか？
• RQ5 BCD法がサブ線形ではなく線形収束を達成するための条件は何か？

主な発見

• BSUMフレームワーク下のすべてのBCD型アルゴリズムは、多ブロック非滑らか凸問題に対してグローバルなサブ線形収束速度 O(1/r) を達成する。
• ブロック座標最小化（BCM）アルゴリズムは、各ブロックの強い凸性がなくても O(1/r) 収束を達成する。
• 2ブロック問題においてガウス＝ザイデル則を用いる場合、特別なBSUMアルゴリズムが改善された O(1/r²) 収束速度を達成する。
• 上界関数が強い凸性を持たなくても、仮定Bを満たしていれば、O(1/r) の収束速度は保たれる。
• 確率的または並び替えられた座標選択のケースに対しても、O(1/r) の収束速度は維持され、反復間の固定順序を要しない。
• 仮定F（多面体的集合、フルランク行列、構造的 h_k）が成立する場合、BCMアルゴリズムは誤差バインディング条件を満たし、線形収束を達成する。