[論文レビュー] Parallel Coordinate Descent for L1-Regularized Loss Minimization

Joseph K. Bradley, Aapo Kyrola+2 more|arXiv (Cornell University)|May 26, 2011

Sparse and Compressive Sensing Techniques参考文献 3被引用数 216

ひとこと要約

本稿では、L1正則化損失最小化のための並列座標勾配降下法であるShotgunを提案する。複数の座標を同時に更新することで線形スケーリングを達成し、問題に依存する限界まで線形のスループット向上を予測する収束バウンドを証明している。Lassoおよびスパースロジスティック回帰において、大規模データセット上で最先端のソルバーを上回る性能を実証的に確認した。

ABSTRACT

We propose Shotgun, a parallel coordinate descent algorithm for minimizing L1-regularized losses. Though coordinate descent seems inherently sequential, we prove convergence bounds for Shotgun which predict linear speedups, up to a problem-dependent limit. We present a comprehensive empirical study of Shotgun for Lasso and sparse logistic regression. Our theoretical predictions on the potential for parallelism closely match behavior on real data. Shotgun outperforms other published solvers on a range of large problems, proving to be one of the most scalable algorithms for L1.

研究の動機と目的

• 高次元の機械学習問題におけるL1正則化のためのスケーラブルな最適化の増大するニーズに対応すること。
• 伝統的に逐次的と見なされてきた座標勾配降下法の効率的な並列化を可能にすること。
• Lassoやスパースロジスティック回帰のようなL1正則化問題の理論的裏付けが強く、非常にスケーラブルなソルバーを開発すること。
• 理論的スループット向上予測の実証的妥当性を検証し、最先端のソルバーと性能を比較すること。

提案手法

• マルチコア環境下でP個の特徴量を同時に更新する並列座標勾配降下法であるShotgunを提案する。
• 理論的解析のため、L1正則化問題を非負変数と2回微分可能な正則化項を持つ問題に変換する変換を用いる。
• P*という問題に依存する最大並列更新数まで線形スループット向上が保証される収束解析を適用する。
• 共有された残差ベクトルAxに対するアトミック更新を用いて、並列更新中の一貫性を維持する。
• 特徴量のノルムやスパarsityといったデータ特性に基づいて、最適な並列更新数P*の理論的推定値を導出する。
• Lassoおよびスパースロジスティック回帰を用いて、実データおよび合成データ上でShotgunを実装・評価する。

実験結果

リサーチクエスチョン

• RQ1 伝統的に逐次的と見なされてきた座標勾配降下法は、L1正則化問題において効果的に並列化可能か？
• RQ2 この設定における並列座標勾配降下法に対して、どのような理論的収束保証とスループット予測が得られるか？
• RQ3 大規模データセット上でのShotgunの性能は、SGD、SMIDAS、Shootingといった最先端のソルバーと比べてどうか？
• RQ4 反復処理のスループット向上が強く見られるにもかかわらず、実行時間のスループット向上が制限されるハードウェアレベルのボトルネックは何か？
• RQ5 ShotgunとSGDを組み合わせたハイブリッドアルゴリズムは、サンプル数と特徴量の両方のスケーリングを達成できるか？

主な発見

• Shotgunは反復回数に対する並列更新数Pのスループット向上がほぼ線形であり、理論的予測と密接に一致する。
• rcv1データセット（d > n）では、P=8のShotgunはSGDよりも実行時間で4倍以上速く収束した。SGDはzetaデータセット（n ≫ d）では初期段階で優位性を示したが、その利点は限定的であった。
• 理論的解析により、有効な並列更新数の最大値P*が予測され、これはデータから直接計算可能であり、実験的挙動とも一致する。
• 実行時間のスループット向上は、メモリ帯域幅とレイテンシに制限されており、アルゴリズムの収束性ではなく、高比率のメモリ対計算量とデータ局所性の欠如が原因である。
• 35個の実データおよび合成データセットにおいて、他の発表済みソルバーを上回り、L1正則化最適化アルゴリズムとして最もスケーラブルなものの一つとして確立された。
• 反復処理における自己スループットはほぼ線形（例：P=8で約8倍）であるが、実際の実行時間スループットはメモリウォール効果のため2倍〜4倍に制限される。