[論文レビュー] Efficient Greedy Coordinate Descent for Composite Problems

Sai Praneeth Karimireddy, Anastasiia Koloskova+2 more|arXiv (Cornell University)|Oct 16, 2018

Stochastic Gradient Optimization Techniques被引用数 10

ひとこと要約

本稿では、Lasso や SVM などの非滑らか複合最適化問題に対して、劣勾配に基づく新しい勾配勾配選択ルールを導入することで、非効率なグリーディ座標降下法を提案する。線形収束レートを次元 n に依存せずに達成し、選択を最大内積探索（MIPS）にマッピングすることで、近似最近傍アルゴリズムを用いたスケーラブルな実装を可能にし、実際の実験では一様座標降下法と比較して顕著な高速化を示している。

ABSTRACT

Coordinate descent with random coordinate selection is the current state of the art for many large scale optimization problems. However, greedy selection of the steepest coordinate on smooth problems can yield convergence rates independent of the dimension $n$, and requiring upto $n$ times fewer iterations. In this paper, we consider greedy updates that are based on subgradients for a class of non-smooth composite problems, which includes $L1$-regularized problems, SVMs and related applications. For these problems we provide (i) the first linear rates of convergence independent of $n$, and show that our greedy update rule provides speedups similar to those obtained in the smooth case. This was previously conjectured to be true for a stronger greedy coordinate selection strategy. Furthermore, we show that (ii) our new selection rule can be mapped to instances of maximum inner product search, allowing to leverage standard nearest neighbor algorithms to speed up the implementation. We demonstrate the validity of the approach through extensive numerical experiments.

研究の動機と目的

• 非滑らか複合最適化問題におけるグリーディ座標降下の理論的理解の不足と実用的効率性の欠如に対処すること。
• 滑らか設定と同様に、次元 n に依存しない線形収束レートを、グリーディ手法が複合問題に対して確立すること。
• 勾配勾配選択を最大内積探索（MIPS）にマッピングすることで、グリーディ座標降下のスケーラブルな実装を可能にすること。
• 広範な実験を通じて、提案手法が反復回数およびウォールクロック時間の両面で一様座標降下を上回ることを示すこと。
• 近似グリーディ方向と適応的サブセット選択の収束性および性能への影響を分析すること。

提案手法

• 複合問題における劣勾配に基づくグリーディ座標選択戦略として、ガウス・サザンウェル（GS-s）ルールを導入する。
• GS-s ルールが複合問題のクラスに対して線形収束レートを示すことを証明し、次元 n に依存しないことを示す。
• 勾配勾配の計算を最大内積探索（MIPS）問題にマッピングし、LSH や nmslib などの効率的な近似アルゴリズムの利用を可能にする。
• 計算コストを低減しながら性能を維持するための適応的サブセット選択を採用し、精度に与える影響が無視できる理論的根拠を提示する。
• 最先端のMIPSライブラリ（FALCONN、nmslib）を用いて実装・評価し、スケーラブルかつ効率的な最適化を実現する。
• グリーディ方向計算における近似の収束への影響を分析し、中程度の誤差に対してもロバストであることを示す。

実験結果

リサーチクエスチョン

• RQ1 非滑らか複合問題において、グリーディ座標降下が次元 n に依存しない線形収束レートを達成できるか？
• RQ2 GS-s グリーディルールが、Lasso や SVM などの複合問題において、一様座標降下よりも理論的に速いか？
• RQ3 勾配勾配選択ステップを、既存の近似最近傍アルゴリズムを用いて効率的に実装できるか？
• RQ4 適応的サブセット選択は、グリーディ座標降下法の性能および収束にどのように影響するか？
• RQ5 近似MIPSを用いたグリーディ選択において、反復回数とウォールクロック時間の実務的トレードオフは何か？

主な発見

• 提案されたグリーディ座標降下法は、次元 n に依存しない線形収束レートを達成し、滑らか問題における勾配勾配降下の理論的利点を複合問題へ拡張した。
• GS-s ルールは反復回数の観点で一様座標降下を著しく上回り、特に初期段階で最大 n 倍の高速化が達成された。
• ウォールクロック時間の観点でも競争力のある性能を示し、ステープス-LSH やステープス-NN は初期段階で大規模問題において一様降下を上回った。
• 近似MIPSソルバ（例：FALCONN、nmslib）の使用により、スケーラブルな実装が可能となり、適応的サブセット選択は解の品質にほとんど影響を及ぼさなかった。
• 数値実験では、ステープス-NN を用いた解が一様降下の解よりも顕著にスパースであることが示され、SVM などの応用において（サポートベクタが少ないため）有益である。
• ハイパーパramータの慎重なチューニングにもかかわらず、nmslib や LSH を用いたMIPSソルバの性能は正確な手法に劣っており、この設定における近似MIPSアルゴリズムの改善の余地が示された。