[論文レビュー] Coordinate Descent Converges Faster with the Gauss-Southwell Rule Than Random Selection

Julie Nutini, Mark Schmidt+3 more|arXiv (Cornell University)|Jun 1, 2015

Sparse and Compressive Sensing Techniques参考文献 28被引用数 93

ひとこと要約

この論文は、標準的な滑らかさおよび強い凸性の仮定の下で、座標勾配降下法におけるガウス＝サザンウェル（GS）ルールが、以前の理論的結果が同等であると示唆していたのとは対照的に、ランダム選択よりも収束が速いことを示している。本稿では勾配のリプシッツ定数を用いたGS-Lipschitz（GSL）ルールを導入し、収束速度の向上を証明している。特に、正確な座標最適化が可能なスパース問題において顕著な改善が得られ、近似版およびプロキシマル変種の分析も併せて行っている。

ABSTRACT

There has been significant recent work on the theory and application of randomized coordinate descent algorithms, beginning with the work of Nesterov [SIAM J. Optim., 22(2), 2012], who showed that a random-coordinate selection rule achieves the same convergence rate as the Gauss-Southwell selection rule. This result suggests that we should never use the Gauss-Southwell rule, as it is typically much more expensive than random selection. However, the empirical behaviours of these algorithms contradict this theoretical result: in applications where the computational costs of the selection rules are comparable, the Gauss-Southwell selection rule tends to perform substantially better than random coordinate selection. We give a simple analysis of the Gauss-Southwell rule showing that---except in extreme cases---its convergence rate is faster than choosing random coordinates. Further, in this work we (i) show that exact coordinate optimization improves the convergence rate for certain sparse problems, (ii) propose a Gauss-Southwell-Lipschitz rule that gives an even faster convergence rate given knowledge of the Lipschitz constants of the partial derivatives, (iii) analyze the effect of approximate Gauss-Southwell rules, and (iv) analyze proximal-gradient variants of the Gauss-Southwell rule.

研究の動機と目的

• 座標勾配降下法におけるガウス＝サザンウェル（GS）ルールの理論的同等性と実験的優位性の矛盾を解消すること。
• 退化ケースを除き、GSがランダム選択を上回ることを示すより鋭い理論的分析を提供すること。
• スパarsity制約下での正確な座標最適化に対して、証明可能な収束速度の改善を確立すること。
• 既知の勾配リプシッツ定数を用いて、より速い収束を実現するガウス＝サザンウェル＝リプシッツ（GSL）ルールの開発と分析を行うこと。
• 滑らかでない、分離可能な正則化項を含む問題に対する近似GSルールおよびプロキシマル・グラデント変種の性能を調査すること。

提案手法

• 強い凸性および滑らかさの下でGSルールの収束をより鋭く分析し、退化ケースを除きランダム選択を上回ることを示した。
• 局所的な部分勾配のリプシッツ定数に基づいて座標を選択するガウス＝サザンウェル＝リプシッツ（GSL）ルールを導入し、収束を加速した。
• スパース問題における正確な座標最適化を分析し、定数ステップサイズ更新より速い収束速度を証明した。
• 計算コストと収束速度のバランスを取る近似GSルールを設計・評価した。
• ℓ1正則化などの分離可能な非滑らか項を含む問題に対して、GSルールをプロキシマル・グラデント法に拡張した。
• スパースグラフで有界な次数を持つ場合に、マックスヒープデータ構造を用いてGSを効率的に実装し、1回の選択でO(d log n)の時間計算量を達成した。

実験結果

リサーチクエスチョン

• RQ1 ガウス＝サザンウェルルールは実際の座標勾配降下法においてランダム座標選択よりも収束が速いか？その理論的裏付けは可能か？
• RQ2 スパース制約を満たす問題において、正確な座標最適化は定数ステップサイズ更新よりも証明可能な速さで収束するか？
• RQ3 勾配リプシッツ定数を選択ルールに組み込むことで、標準的なGSやランダム選択よりも速い収束速度が得られるか？
• RQ4 近似版GSルールは、正確版およびランダム版と比較して、性能と収束速度でどう異なるか？
• RQ5 滑らかでない、分離可能な正則化項を含む問題に対して、GSルールは効果的にプロキシマル・グラデント法に拡張可能か？

主な発見

• 標準的な滑らかさおよび強い凸性の仮定の下で、以前の理論的主張とは対照的に、ガウス＝サザンウェル（GS）ルールはランダム選択よりも収束が速いことが示された。
• スパarsity制約を満たす問題において、正確な座標最適化は定数ステップサイズ更新よりも証明可能な速さで収束する。
• 提案されたガウス＝サザンウェル＝リプシッツ（GSL）ルールは、既知の勾配リプシッツ定数を活用することで、ランダム選択および標準的なGSルールよりも速い収束速度を達成した。
• 数値実験では、単純なPython実装でも、GSおよびGSLルールがランダム選択よりも単位時間あたりの目的関数値の低下が顕著に速かった。
• GS-qrおよびGS-qsルールは理論的収束境界を満たすが、GS-rルールは満たさないため、更新ルールの選択が収束行動に顕著な影響を与えることが示された。
• 近似GSルールは、正確なGSよりも計算コストが低く、ランダム選択よりも性能が優れているため、実用的な妥協点を提供する。