[論文レビュー] Improved Iteration Complexity Bounds of Cyclic Block Coordinate Descent for Convex Problems

Ruoyu Sun, Mingyi Hong|arXiv (Cornell University)|Dec 15, 2015

Sparse and Compressive Sensing Techniques参考文献 17被引用数 21

ひとこと要約

本稿は、凸問題における巡回ブロック座標降下（BCD）の反復複雑度の上限を改善し、特定のクラスの二次的非滑らか問題において、BCDおよびその近接変種（BCPG）が、log²(K) 要因を除いて勾配降下（GD）と同等の複雑度上限を達成することを示している。これにより、従来の K 倍のギャップが解消された。解析は巡回的およびランダムに並び替えられた BCD の両方に対応し、固定された更新順序に依存しない、より緊密な収束保証を提供する。

ABSTRACT

The iteration complexity of the block-coordinate descent (BCD) type algorithm has been under extensive investigation. It was recently shown that for convex problems the classical cyclic BCGD (block coordinate gradient descent) achieves an $\\mathcal{O}(1/r)$ complexity ($r$ is the number of passes of all blocks). However, such bounds are at least linearly depend on $K$ (the number of variable blocks), and are at least $K$ times worse than those of the gradient descent (GD) and proximal gradient (PG) methods. In this paper, we aim to close such theoretical performance gap between cyclic BCD and GD/PG. First we show that for a family of quadratic nonsmooth problems, the complexity bounds for cyclic Block Coordinate Proximal Gradient (BCPG), a popular variant of BCD, can match those of the GD/PG in terms of dependency on $K$ (up to a $\\log^2(K)$ factor). For the same family of problems, we also improve the bounds of the classical BCD (with exact block minimization) by an order of $K$. Second, we establish an improved complexity bound of Coordinate Gradient Descent (CGD) for general convex problems which can match that of GD in certain scenarios. Our bounds are sharper than the known bounds as they are always at least $K$ times worse than GD. Our analyses do not depend on the update order of block variables inside each cycle, thus our results also apply to BCD methods with random permutation (random sampling without replacement, another popular variant).

研究の動機と目的

• 巡回的ブロック座標降下（BCD）と勾配降下（GD）／近接勾配（PG）法の間の理論的性能ギャップを埋めること。これは、従来、K に線形に依存するため、複雑度上限が少なくとも K 倍悪化していた。
• 二次的非滑らか問題のクラスに対して、巡回的 BCD 及びその近接変種（BCPG）の反復複雑度上限をより厳密に確立し、GD/PG のレートと log²(K) 要因を除いて一致させること。
• 一般凸問題における巡回的座標勾配降下（CGD）のメタ複雑度上限を導出し、特定の条件下で GD のレートに一致することを示すこと。
• 改善された上限がブロック更新順序に依存しないことを示し、無作為選択（置換なし）のランダムブロック選択 BCD にまで拡張できることを示すこと。
• 一般に、従来の K 倍のギャップが避けられないことを示すタイトな下界例を提供し、新しい解析の鋭さを検証すること。

提案手法

• 二次的非滑らか問題における巡回的 BCD 及び BCPG のための新しい解析フレームワークを提案。ヘッセ行列の固有値特性とブロック単位の収束挙動を活用する。
• 一般凸問題における CGD のメタ反復複雑度上限を導出し、'移動反復ヘッセ行列' のスペクトルノルムで表現する。
• 特定の初期点を用いたタイトな下界構成により、従来の K 倍のギャップが避けられないことを示し、新しい解析の最適性を証明する。
• 正確なブロック最小化（古典的 BCD）と勾配ステップによる不正確最小化（BCPG）の両方を扱い、異なる BCD 変種の統一的取り扱いを可能にする。
• 更新順序に依存しない上限を導出し、巡回的およびランダムに並び替えられた BCD の両方に適用可能であることを証明する。
• 下界例において再帰的更新構造を用い、1反復後の最適性ギャップが K に比例して増大することを示し、新しい上界のタイトさを検証する。

実験結果

リサーチクエスチョン

• RQ1 巡回的 BCD の反復複雑度は、ブロック数 K の対数要因を除いて、勾配降下（GD）と同等のものに改善可能か？
• RQ2 従来の BCD の複雑度上限における K 倍の劣化は、解析のゆるさに起因するものか、それとも手法そのものに内在するものか？
• RQ3 同じ改善された複雑度上限は、非滑らか問題における BCD の近接変種（BCPG）へも拡張可能か？
• RQ4 改善された複雑度上限は、ランダムブロック選択（ランダム順列）に対しても、巡回的選択と同様に成り立つか？
• RQ5 一般凸問題における CGD の新しい複雑度上限は、従来のものよりもタイトであり、二次的ケースでは GD のレートと一致するか？

主な発見

• 二次的非滑らか問題のクラスにおいて、BCPG の反復複雑度は、K に依存するのは log²(K) 要因までに改善され、GD/PG のレートと一致する。
• 正確なブロック最小化を用いた古典的巡回 BCD は、従来の結果に比べ K 倍の改善を達成し、過去の K 倍のギャップを解消した。
• 一般の滑らか凸問題において、巡回的 CGD のメタ複雑度上限は従来のものよりもタイトであり、二次的ケースでステップサイズ 1/L を用いるとき GD のレートと一致する。
• 改善された複雑度上限は、更新順序に依存しないため、巡回的およびランダムに並び替えられた BCD の両方に適用可能である。
• 初期点を適切に選択したタイトな下界例を構築し、1反復後の最適性ギャップが初期ノルムの二乗に対して少なくとも Ω(K) 倍であることを示し、新しい上界の鋭さを証明した。
• 結果として、従来の K 倍のギャップは解析のゆるさによるものではなく、巡回 BCD 自体に内在する制限であったことが示され、新しいフレームワークによって解決された。