[論文レビュー] On Faster Convergence of Cyclic Block Coordinate Descent-type Methods for Strongly Convex Minimization

Xingguo Li, Tuo Zhao+3 more|arXiv (Cornell University)|Jul 10, 2016

Advanced Optimization Algorithms Research参考文献 37被引用数 4

ひとこと要約

本稿では、強い凸最小化における巡回的ブロック座標降下（CBCD）型手法の改善された収束解析を提案し、その反復複雑度が O(log²p · log(1/ϵ)) であることを示している。これは勾配降下法と log²p 要因を除いて一致する。したがって、理論的ギャップが埋められた。解析は二次計画問題に適用され、一般化して非二次的ケースにも拡張可能であり、固定されたヘッセ行列固有値スケーリング下での下界によりそのタイトさが確認されている。

ABSTRACT

The cyclic block coordinate descent-type (CBCD-type) methods, which performs iterative updates for a few coordinates (a block) simultaneously throughout the procedure, have shown remarkable computational performance for solving strongly convex minimization problems. Typical applications include many popular statistical machine learning methods such as elastic-net regression, ridge penalized logistic regression, and sparse additive regression. Existing optimization literature has shown that for strongly convex minimization, the CBCD-type methods attain iteration complexity of $\mathcal{O}(p\log(1/ε))$, where $ε$ is a pre-specified accuracy of the objective value, and $p$ is the number of blocks. However, such iteration complexity explicitly depends on $p$, and therefore is at least $p$ times worse than the complexity $\mathcal{O}(\log(1/ε))$ of gradient descent (GD) methods. To bridge this theoretical gap, we propose an improved convergence analysis for the CBCD-type methods. In particular, we first show that for a family of quadratic minimization problems, the iteration complexity $\mathcal{O}(\log^2(p)\cdot\log(1/ε))$ of the CBCD-type methods matches that of the GD methods in term of dependency on $p$, up to a $\log^2 p$ factor. Thus our complexity bounds are sharper than the existing bounds by at least a factor of $p/\log^2(p)$. We also provide a lower bound to confirm that our improved complexity bounds are tight (up to a $\log^2 (p)$ factor), under the assumption that the largest and smallest eigenvalues of the Hessian matrix do not scale with $p$. Finally, we generalize our analysis to other strongly convex minimization problems beyond quadratic ones.

研究の動機と目的

• 強い凸問題におけるCBCD型手法と勾配降下法の反復複雑度に関する理論的ギャップを解消すること。
• ブロック数 p に明示的に依存する既存の O(p log(1/ϵ)) 複雑度バウンドを克服すること。
• ヘッセ行列固有値に対する現実的な仮定の下で、CBCD型手法のよりタイトな収束バウンドを確立すること。
• 固定された極端な固有値スケーリング下での下界を用いて、改善された複雑度のタイトさを確認すること。
• 二次計画問題を超えて、より広範な強い凸最小化クラスへと改善された複雑度バウンドを一般化すること。

提案手法

• 二次最小化問題に適用されたCBCD型手法の洗練された収束解析を提案する。
• ヘッセ行列の最大固有値と最小固有値が p にスケーリングしないという仮定の下で、CBCD型手法の反復複雑度を分析する。
• ϵ-精度に到達するまでの反復回数に対する改善された上界 O(log²p · log(1/ϵ)) を導出する。
• 三重対角トーペリッツ行列を用いた下界例を構築し、改善されたバウンドが log²p 要因を除いてタイトであることを示す。
• 収束フレームワークを拡張することで、非二次的で強い凸な問題に対しても解析を一般化する。
• 特定の初期条件と反復更新ルールを用いて、最悪ケースにおける収束の遅さを実証し、下界の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 CBCD型手法の反復複雑度を、対数要因を除いて勾配降下法と一致させるように改善できるか？
• RQ2 CBCD型手法の O(p log(1/ϵ)) 複雑度バウンドはタイトか、それとも著しく改善可能か？
• RQ3 ヘッセ行列固有値が p に対して固定されている場合、CBCD収束がブロック数 p にどのように依存するか？
• RQ4 改善された複雑度バウンドを二次計画問題を超えて、他の強い凸最小化問題へ一般化できるか？
• RQ5 さまざまな問題条件下で、CBCD型手法の実験的性能は勾配法や確率的BCD手法と比べてどのように異なるか？

主な発見

• 二次計画問題におけるCBCD型手法の反復複雑度は、O(log²p · log(1/ϵ)) に改善され、これは勾配降下法と log²p 要因を除いて一致する。
• 三重対角トーペリッツ行列を用いた下界構築により、改善された複雑度バウンドが log²p 要因を除いてタイトであることが示された。
• 下界例により、1反復後の目的関数ギャップが初期ノルムギャップの定数倍以上に下界づけられることを示し、一般にはpに依存しない収束は不可能であることが示された。
• 解析により、ヘッセ行列の最大固有値と最小固有値が p にスケーリングしないことが、改善された複雑度が成立するための必要条件であることが確認された。
• 実験結果により、理論的複雑度バウンドが示唆するよりも実際にはCBCD型手法が勾配法を上回ることが示された。
• 置換に基づくBCD手法は、良好な条件と悪い条件の両方の問題で安定した性能を示したが、本研究ではそれらに対する理論的複雑度バウンドは確立されていない。