[論文レビュー] On the Finite Time Convergence of Cyclic Coordinate Descent Methods

Ankan Saha, Ambuj Tewari|arXiv (Cornell University)|May 12, 2010

Sparse and Compressive Sensing Techniques参考文献 16被引用数 26

ひとこと要約

本稿は、$\nabla f$-Lipschitz連続、$\nabla f$-isotonic、$\nabla f$-Lipschitz-smooth、および $\nabla f$-isotonicな問題において、最初の有限時間 $O(1/k)$ 収束レートを、循環座標降下法（CCD）および循環座標最小化法（CCM）に対して確立した。超解の仮定の下でCCDおよびCCMの反復点を勾配降下法（GD）と比較することで、同じ条件下でGDが達成する $O(1/k)$ レートを継承し、各反復でGDよりも優れた目的関数値を維持することが示された。

ABSTRACT

Cyclic coordinate descent is a classic optimization method that has witnessed a resurgence of interest in machine learning. Reasons for this include its simplicity, speed and stability, as well as its competitive performance on $\ell_1$ regularized smooth optimization problems. Surprisingly, very little is known about its finite time convergence behavior on these problems. Most existing results either just prove convergence or provide asymptotic rates. We fill this gap in the literature by proving $O(1/k)$ convergence rates (where $k$ is the iteration counter) for two variants of cyclic coordinate descent under an isotonicity assumption. Our analysis proceeds by comparing the objective values attained by the two variants with each other, as well as with the gradient descent algorithm. We show that the iterates generated by the cyclic coordinate descent methods remain better than those of gradient descent uniformly over time.

研究の動機と目的

• 循環座標降下法（CCD）の有限時間収束解析における理論的ギャップを埋めること。特に、平滑問題ですら非漸近的レートが未だに欠落していたことに対応する。
• 目的関数の勾配に関する平滑性およびisotonic性仮定の下で、CCDの2つの変種（CCDおよびCCM）に対して $O(1/k)$ 収束レートを確立すること。
• CCDおよびCCMの反復点を勾配降下法（GD）と直接比較し、すべての反復でCCDおよびCCMがGDよりも一貫して優れた目的関数値を維持することを示すこと。
• GDの既知の $O(1/k)$ 収束保証を活用し、比較定理を用いてCCDおよびCCMに対しても同様のレートを導出すること。
• 有限時間収束結果を可能にする仮定（特に $\mathbf{I} - \nabla f/L$ の超解およびisotonic性）を特定・分析すること。

提案手法

• 最適化問題を $\min_{x \in \mathbb{R}^d} F(x) = f(x) + \lambda \|x\|_1$ として定式化し、$f$ が $L$-Lipschitz連続勾配を持つと仮定する。
• 超解の概念を導入する：点 $x$ が $x \geq S_{\lambda/L}(x - \nabla f(x)/L)$ を満たすとき、超解と呼ぶ。これは、近位作用素が目的関数値を増加させないことを保証する。
• 初期反復点が超解であれば、その後のすべてのCCDおよびCCM反復点も超解の性質を保つことを証明し、比較構造が維持されることを示す。
• 比較定理を確立する：同じ初期超解に対して、すべての $k \geq 1$ で $F(\text{CCD}_k) \leq F(\text{CCM}_k) \leq F(\text{GD}_k)$ が成り立つ。これは $\mathbf{I} - \nabla f/L$ のisotonic性を用いる。
• 既知の勾配降下法（GD）の $O(1/k)$ 収束レート（定理2）を活用し、同じ仮定の下でCCDおよびCCMも $O(1/k)$ 収束を達成することを結論づける。
• 近位更新を特徴付けるスカラー型のシャーリング作用素 $S_{\lambda/L}(\cdot)$ を用い、各座標について3つのケースを検証することで、超解の性質を検証する。

実験結果

リサーチクエスチョン

• RQ1 平滑で凸かつ $\nabla f$-isotonicな問題において、$\nabla f$-Lipschitz連続性を仮定した場合、循環座標降下法（CCD）に対して有限時間 $O(1/k)$ 収束レートを確立できるか？
• RQ2 CCDおよびCCMの反復点は、時間経過に伴い目的関数値がどのように変化するか、勾配降下法（GD）と比較してどうなるか？
• RQ3 初期条件（例：超解）が何である場合に、CCDおよびCCMが最適化プロセス全体を通じてGDよりも優れた目的関数値を維持するか？
• RQ4 $\mathbf{I} - \nabla f/L$ のisotonic性が、CCDおよびCCMの有限時間収束保証を可能にする役割は何か？
• RQ5 同じ仮定の下で、GDの $O(1/k)$ 収束レートが、比較定理を用いてCCDおよびCCMに継承可能か？

主な発見

• 本稿は、超解の仮定および $\mathbf{I} - \nabla f/L$ のisotonic性の下で、CCDおよびCCMが両方とも $O(1/k)$ の有限時間収束レートを達成することを証明した。
• 任意の $k \geq 1$ に対して、CCMの反復点の目的関数値は $F(z^{(k)}) \leq F(x^{(k)}) \leq F(x^*) + \frac{L\|x^* - x^{(0)}\|^2}{2k}$ を満たし、GDのレートと一致する。
• CCDおよびCCMの反復点は、すべての反復 $k$ において、GDの反復点よりも一貫して優れた目的関数値を維持する。すなわち、すべての $k \geq 1$ で $F(y^{(k)}) \leq F(x^{(k)})$ が成り立つ。
• 超解の性質は、CCDおよびCCMの反復全体にわたって保持され、これにより収束率導出の根拠となる比較議論が可能になる。
• $\mathbf{I} - \nabla f/L$ のisotonic性仮定は、比較定理の成立に不可欠であり、数値最適化分野では既知ではあるが制限的である。
• 本研究の結果は、平滑で $\nabla f$-isotonicな問題における循環座標降下法に対して、最初の有限時間収束保証を提供し、文脈の理論的ギャップを埋めた。