[論文レビュー] Scaling Up Coordinate Descent Algorithms for Large $\ell_1$ Regularization Problems

Chad Scherrer, Mahantesh Halappanavar+2 more|arXiv (Cornell University)|Jun 27, 2012

Stochastic Gradient Optimization Techniques参考文献 23被引用数 18

ひとこと要約

この論文は、大規模な $β_1$ 正則化問題に特化した並列座標降下（CD）アルゴリズムの汎用フレームワークを導入し、OpenMPを用いた実装により顕著な高速化を示す2つの新規手法—Thread-Greedy CD および Coloring-Based CD—を提案する。このフレームワークは、既存のCDバリエーションを統一し、変数の更新を効率的に並列化することで、大規模データセットにおいてスケーラブルなパフォーマンスを達成する。

ABSTRACT

We present a generic framework for parallel coordinate descent (CD) algorithms that includes, as special cases, the original sequential algorithms Cyclic CD and Stochastic CD, as well as the recent parallel Shotgun algorithm. We introduce two novel parallel algorithms that are also special cases---Thread-Greedy CD and Coloring-Based CD---and give performance measurements for an OpenMP implementation of these.

研究の動機と目的

• 機械学習における大規模な $β_1$ 正則化問題を解く際の計算ボトル neck を解消すること。
• 逐次的および並列的CDアルゴリズム（Cyclic CD、Stochastic CD、Shotgunなど）を一般化する統一されたフレームワークを設計すること。
• 並列CDアルゴリズムの新規開発と評価—Thread-Greedy CD および Coloring-Based CD—を進め、スケーラビリティと効率性の向上を図ること。
• 共有メモリ並列化（OpenMP）を用いて、大規模データセットにおける実用的パフォーマンスの向上を示すこと。
• 現代の並列アーキテクチャへの座標降下のスケーリングを理論的に裏付けつつも実装可能であるアプローチを提供すること。

提案手法

• 変数間の依存関係管理と更新ルールを抽象化する、並列CDの汎用フレームワークを提案する。
• Thread-Greedy CD を導入し、競合を最小限に抑えて並列性を最大化するように、スレッドに変数を貪欲に割り当てる。
• Coloring-Based CD を導入し、グラフ彩色を用いて変数を独立集合に分割することで、安全な並列更新を実現する。
• 大規模データセットにおけるパフォーマンス評価のため、共有メモリ型のOpenMP実装を採用する。
• 座標降下の更新ルールを用いる：各変数について、目的関数を最小化する最適ステップサイズを計算し、スパarsityを維持する。
• 凸的で区分線形・二次関数的な関数を最小化するLassoなどの $β_1$-正則化問題にこのフレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 $β_1$ 正則化のための既存の逐次的および並列的CDアルゴリズムを一般化する統一フレームワークを設計できるか？
• RQ2 Thread-Greedy CD と Coloring-Based CD は、Shotgun や Cyclic CD などの既存手法と比較して、パフォーマンスとスケーラビリティで優れているか？
• RQ3 変数の分割戦略（貪欲 vs. 彩色）が収束速度と並列効率に与える影響は何か？
• RQ4 共有メモリ並列化は、大規模な $β_1$-正則化問題における座標降下の実行をどの程度高速化できるか？
• RQ5 実世界の大規模な設定において、提案手法の実用的パフォーマンス向上はどの程度見られるか？

主な発見

• 提案されたフレームワークは、Cyclic CD や Stochastic CD、Shotgun アルゴリズムといった既存のCDアルゴリズムを特別なケースとして統合している。
• Thread-Greedy CD は、より良いロードバランスと低減された競合オーバーヘッドのおかげで、多くの大規模な設定において Shotgun よりも高速な収束を達成する。
• Coloring-Based CD は、適切な変数分割により各イテレーションでの更新が競合フリーであることを保証し、高い並列効率を示す。
• 両新規アルゴリズムのOpenMP実装は、大規模データセットで顕著な高速化を達成しており、マルチコアシステムでは線形速度向上に近いスケーラビリティを示す。
• 実験結果から、新しいアルゴリズムが大規模なLasso問題において、収束時間とスケーラビリティの点で従来手法を上回ることが確認された。
• フレームワークは収束保証を損なわずに効率的な並列化を可能にし、標準CDが持つグローバル収束性を維持している。