[論文レビュー] Accelerating Greedy Coordinate Descent Methods

Haihao Lu, Robert M. Freund+1 more|arXiv (Cornell University)|Jun 7, 2018

Stochastic Gradient Optimization Techniques参考文献 20被引用数 10

ひとこと要約

本稿では、O(1/k²)収束を達成する2つの高速化座標勾配法——加速半グリーディ座標勾配法（ASCD）と加速グリーディ座標勾配法（AGCD）——を提案する。ASCDは理論的にO(1/k²)収束および強い凸性下での高速線形収束を達成するが、AGCDは理論的保証が欠如しているものの、実験的に他の手法を上回る性能を示す。Lyapunov解析により、その成功を説明する技術的条件が特定され、実際の応用でも成り立つことが示された。

ABSTRACT

We study ways to accelerate greedy coordinate descent in theory and in practice, where "accelerate" refers either to $O(1/k^2)$ convergence in theory, in practice, or both. We introduce and study two algorithms: Accelerated Semi-Greedy Coordinate Descent (ASCD) and Accelerated Greedy Coordinate Descent (AGCD). While ASCD takes greedy steps in the $x$-updates and randomized steps in the $z$-updates, AGCD is a straightforward extension of standard greedy coordinate descent that only takes greedy steps. On the theory side, our main results are for ASCD: we show that ASCD achieves $O(1/k^2)$ convergence, and it also achieves accelerated linear convergence for strongly convex functions. On the empirical side, we observe that both AGCD and ASCD outperform Accelerated Randomized Coordinate Descent on a variety of instances. In particular, we note that AGCD significantly outperforms the other accelerated coordinate descent methods in numerical tests, in spite of a lack of theoretical guarantees for this method. To complement the empirical study of AGCD, we present a Lyapunov energy function argument that points to an explanation for why a direct extension of the acceleration proof for AGCD does not work; and we also introduce a technical condition under which AGCD is guaranteed to have accelerated convergence. Last of all, we confirm that this technical condition holds in our empirical study.

研究の動機と目的

• 理論的および実践的両面でグリーディ座標勾配法を高速化し、O(1/k²)収束レートを達成すること。
• グリーディx更新と確率的z更新を組み合わせた理論的裏付けのある高速化手法（ASCD）を開発すること。
• AGCD（純粋グリーディ拡張）が理論的保証が欠如しているにもかかわらず、既存の高速化手法を実験的に上回ることを示すこと。
• Lyapunovエネルギー関数解析を通じてAGCDの実験的成功を説明し、加速収束を達成するための技術的条件を同定すること。
• 提案された技術的条件が実際の最適化インスタンスにおいて成り立つことを検証し、観察された性能向上を正当化すること。

提案手法

• x変数に対してグリーディ更新、z変数に対して確率的更新を用いるASCDを導入。Nesterovの加速法とグリーディ座標選択を組み合わせる。
• 修正された滑らかさ条件の下で、グリーディ座標ステップが全勾配ステップを上回る進捗をもたらすことを示す、新たな証明技法を開発。
• AGCDの収束を解析するために、Lyapunovエネルギー関数を用いる。これにより、純粋グリーディ手法では標準的な加速証明が失敗する理由が明らかになる。
• AGCDがO(1/k²)収束を保証する技術的条件を導入。理論と実験的性能を結びつける。
• 効率的な座標更新構造を用いてAGCDおよびASCDを実装。ロジスティック回帰の文脈で、事前計算された行列の保存とランク1更新により計算コストを最適化。
• 標準的なNesterovスタイルの加速フレームワークをグリーディおよび半グリーディ設定に適応。合成データおよびLIBSVMデータセットを用いた数値実験を実施。

実験結果

リサーチクエスチョン

• RQ1 グリーディ座標勾配法を理論的にO(1/k²)収束に高速化できるか。その場合、どのような条件下で達成できるか？
• RQ2 理論的収束保証が欠如しているにもかかわらず、AGCD（純粋グリーディ手法）がなぜ他の高速化手法を実験的に上回るのか？
• RQ3 AGCDが加速収束を達成できる技術的条件は何か。また、実際の最適化インスタンスにおいてその条件が成り立つかどうか？
• RQ4 ASCDおよびAGCDは、ARCDおよび非高速化GCDと比較して、多様な機械学習問題における収束速度および実行時間の面でどのように異なるか？
• RQ5 Lyapunovエネルギー関数解析により、グリーディ更新の文脈で標準的な加速証明がなぜ失敗するのかを説明できるか？

主な発見

• ASCDは理論的にO(1/k²)収束を達成。修正された滑らかさ条件の下で、グリーディステップが全勾配ステップを上回ることを示す、新たな証明技法を用いる。
• ASCDは強い凸関数においても高速線形収束を達成し、加速グリーディ手法に対する理論的保証を提供する。
• AGCDは実験的にARCDおよびASCDを多くのテストケースで上回り、特に収束までの反復回数の面で優れた性能を示すが、理論的収束境界は存在しない。
• Lyapunovエネルギー関数解析により、標準的な加速証明手法がAGCDに適用できないことが判明。これは、xとzのシーケンス間で座標選択が一貫していないためである。
• AGCDの加速収束を保証する技術的条件が、複数のデータセットにおいて実験的に成り立つことが確認され、その強力な実用的性能を説明できる。
• ロジスティック回帰の実験では、AGCDが最も短い実行時間で最小の最適性ギャップを達成する一方、ASCDは多くの場合ARCDを上回る性能を示した。