[論文レビュー] Worst-case Complexity of Cyclic Coordinate Descent: $O(n^2)$ Gap with Randomized Version

Ruoyu Sun, Yinyu Ye|arXiv (Cornell University)|Apr 25, 2016

Stochastic Gradient Optimization Techniques参考文献 52被引用数 18

ひとこと要約

この論文は、凸二次関数を最小化する場合、循環的座標降下法（C-CD）が最悪ケースにおいて、確率的座標降下法（R-CD）よりも漸近的に $Ø(n^2)$ 倍遅くなることを確立している。条件数 $µ_{ ext{CD}}$ を持つ特定の例を構築することで、著者らはC-CDが少なくとも $Ø(n^4µ_{ ext{CD}} \log\frac{1}{ \epsilon})$ 回の操作を要することを証明した。一方R-CDは $Ø(n^2µ_{ ext{CD}}\log\frac{1}{\epsilon})$ で達成可能であり、最悪ケースでの差は $Ø(n^2)$ であることが確認された。

ABSTRACT

This paper concerns the worst-case complexity of cyclic coordinate descent (C-CD) for minimizing a convex quadratic function, which is equivalent to Gauss-Seidel method and can be transformed to Kaczmarz method and projection onto convex sets (POCS). We observe that the known provable complexity of C-CD can be $O(n^2)$ times slower than randomized coordinate descent (R-CD), but no example was rigorously proven to exhibit such a large gap. In this paper we show that the gap indeed exists. We prove that there exists an example for which C-CD takes at least $O(n^4 κ_{ ext{CD}} \log\frac{1}ε)$ operations, where $κ_{ ext{CD}}$ is related to Demmel's condition number and it determines the convergence rate of R-CD. It implies that in the worst case C-CD can indeed be $O(n^2)$ times slower than R-CD, which has complexity $O( n^2 κ_{ ext{CD}} \log\frac{1}ε)$. Note that for this example, the gap exists for any fixed update order, not just a particular order. Based on the example, we establish several almost tight complexity bounds of C-CD for quadratic problems. One difficulty with the analysis is that the spectral radius of a non-symmetric iteration matrix does not necessarily constitute a extit{lower bound} for the convergence rate. An immediate consequence is that for Gauss-Seidel method, Kaczmarz method and POCS, there is also an $O(n^2) $ gap between the cyclic versions and randomized versions (for solving linear systems). We also show that the classical convergence rate of POCS by Smith, Solmon and Wager [1] is always worse and sometimes can be infinitely times worse than our bound.

研究の動機と目的

• 循環的座標降下法と確率的座標降下法の理論的ギャップを閉じるため、最悪ケースの複雑度ギャップを厳密に証明すること。
• 凸二次問題において、循環的CDが最悪ケースで確率的CDよりも $Ø(n^2)$ 倍遅くなる可能性を示すこと。
• 最悪ケース条件下での循環的CD、ガウス＝ザイデル法、カツマルツ法、POCS法の収束挙動を分析すること。
• 非対称反復行列のスペクトル半径が、収束速度を常に下界づけるわけではないことの証明により、古典的仮定に疑問を呈すること。
• 特に確率的バージョンとの比較において、循環的CDのよりタイトで正確な複雑度バウンドを確立すること。

提案手法

• 最悪ケース挙動をモデル化するため、$c \to 1$ をパrameterとする凸二次問題の族を構築する。
• ヘッセ行列をモデル化するため、構造化された非対角要素を持つ行列 $A_c$ を使用し、対角要素が等しく、固有値が制御されるようにする。
• 循環的CDの反復行列を分析し、$E(L_{\sigma}^{-1})A$ のスペクトル特性を用いて期待誤差ノルムのバウンドを導出する。ここで $L_{\sigma}$ は下三角因子である。
• 期待誤差の減衰率を決定する $E(L_{\sigma}^{-1})A$ の最小固有値を用いて収束速度バウンドを確立する。
• C-CD、R-CD、およびランダム順序のCD（RPCD）のそれぞれの期待誤差減衰率を分析し、収束速度を比較する。
• $c \to 1$ の漸近的解析を用いて、C-CDとR-CDの複雑度の最悪ケース比を導出し、$\u00d8(n^2)$ のギャップを証明する。

実験結果

リサーチクエスチョン

• RQ1 凸二次問題において、循環的座標降下法が最悪ケースで確率的座標降下法よりも $\u00d8(n^2)$ 倍遅くなることは、証明可能か？
• RQ2 循環的CDの非対称反復行列のスペクトル半径は、常に収束速度の下界を提供するのか？
• RQ3 循環的CDが $\u00d8(n^4\kappa_{\text{CD}}\log(1/\epsilon))$ 回の操作を要する、明示的な例が存在するか？
• RQ4 最悪ケースにおいて、ガウス＝ザイデル法、カツマルツ法、POCSの収束速度は、それらの確率的バージョンと比べてどうか？
• RQ5 スミス、ソルモン、ワーガーによる古典的POCS収束バウンドは、本論文で導出された新しいバウンドよりも厳しく、無限に悪い場合があるか？

主な発見

• 任意の $\epsilon$-精度に到達するため、循環的座標降下法が少なくとも $\u00d8(n^4\kappa_{\text{CD}}\log\frac{1}{\epsilon})$ 回の操作を要する凸二次問題が存在する。
• 循環的CDと確率的CDの最悪ケース複雑度ギャップは $\u00d8(n^2)$ であり、これは任意の固定更新順序に対してタイトで、証明可能である。
• スミス、ソルモン、ワーガーによるPOCSの古典的収束バウンドは、本論文で導出された新しいバウンドよりも厳しく、無限に悪い場合がある。
• 非対称反復行列のスペクトル半径が、収束速度を常に下界づけるわけではない。これは収束解析における一般的な仮定を覆す。
• 同じ問題に対して、確率的座標降下法は $\u00d8(n^2\kappa_{\text{CD}}\log\frac{1}{\epsilon})$ の複雑度を達成し、$\u00d8(n^2)$ のギャップを確認した。
• 解析により、最悪ケースギャップはCDに限らず、同等の手法であるガウス＝ザイデル法、カツマルツ法、POCSに対しても存在することが確認された。これらすべてが、循環的更新下で同じ $\u00d8(n^2)$ の遅延を被る。