[論文レビュー] Feature Clustering for Accelerating Parallel Coordinate Descent

Chad Scherrer, Ambuj Tewari+2 more|arXiv (Cornell University)|Dec 17, 2012

Sparse and Compressive Sensing Techniques参考文献 6被引用数 40

ひとこと要約

本稿では、特徴量の相関に基づいてブロックをクラスタリングすることで、相互ブロック相関を最小化することにより収束を加速する、ブロック・グリーディ座標降下法を導入する。ブロック固有値半径の最適化により、正則化パラメータが小さい場合に特に高速な収束が達成されるが、過剰に正則化された設定では負荷分散の課題が生じる。

ABSTRACT

Large-scale L1-regularized loss minimization problems arise in high-dimensional applications such as compressed sensing and high-dimensional supervised learning, including classification and regression problems. High-performance algorithms and implementations are critical to efficiently solving these problems. Building upon previous work on coordinate descent algorithms for L1-regularized problems, we introduce a novel family of algorithms called block-greedy coordinate descent that includes, as special cases, several existing algorithms such as SCD, Greedy CD, Shotgun, and Thread-Greedy. We give a unified convergence analysis for the family of block-greedy algorithms. The analysis suggests that block-greedy coordinate descent can better exploit parallelism if features are clustered so that the maximum inner product between features in different blocks is small. Our theoretical convergence analysis is supported with experimental re- sults using data from diverse real-world applications. We hope that algorithmic approaches and convergence analysis we provide will not only advance the field, but will also encourage researchers to systematically explore the design space of algorithms for solving large-scale L1-regularization problems.

研究の動機と目的

• 高次元学習や圧縮センシングで一般的な大規模l1正則化最適化問題を効率的かつスケーラブルに解くためのアルゴリズムの必要性に対応する。
• グリーディCD、ショットガン、スレッド・グリーディなど、既存の並列座標降下法を統一したアルゴリズムフレームワークに統合する。
• 一般のブロック構造および並列処理設定下で、ブロック・グリーディ族アルゴリズムの非漸近的収束解析を提供する。
• 相関に基づく特徴量クラスタリングが、ブロック固有値半径を低減し、収束を加速する仕組みを解明する。
• 特徴量のクラスタリングを用いた場合、過剰に正則化された問題における負荷分散および重み分布の問題が、実用的導入の主な課題であると特定する。

提案手法

• 特徴量をB個のブロックに分割し、各イテレーションでP個のブロックを選択して並列更新を行う確率的ブロック・グリーディ座標降下アルゴリズムを提案する。
• 選択された各ブロック内で、勾配の大きさの推定に基づき、目的関数の最大降下をもたらす特徴量をグリーディに更新する。
• ブロック固有値半径ρ_blockを、X^T Xの各ブロックから1つの特徴量を選択して形成される部分行列の最大固有値半径として定義する。
• ρ_blockが異なるブロック間の特徴量間の最大内積（または相関）によって上界で抑えられることを示し、相関に基づくクラスタリングの動機づけを提供する。
• 高い相関を持つ特徴量を同じブロックにグループ化するシンプルなクラスタリングヒューリスティクスを適用し、相互ブロック相関を最小化する。
• ρ_blockから導かれる収束速度の上限を用いてアルゴリズム設計を指針とし、実世界のデータセットを用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 グリーディCD、ショットガン、スレッド・グリーディなどの既存の並列座標降下法を統合する統一されたアルゴリズムフレームワークを開発可能か？
• RQ2 ブロック・グリーディ座標降下法の収束速度は、特徴量ブロックの構造と相互ブロック相関にどのように依存するか？
• RQ3 相関に基づく特徴量クラスタリングが、ブロック固有値半径をどれほど低減し、収束をどれほど加速するか？
• RQ4 特徴量をクラスタリングした場合、過剰に正則化された問題において収束速度と負荷分散の間で生じるトレードオフは何か？
• RQ5 異なる正則化レベルおよびデータセットにおいて、クラスタリングされた特徴量とランダムな特徴量分割の性能特性にはどのような差異があるか？

主な発見

• 相関に基づく特徴量クラスタリングは、正則化パラメータが小さい場合（例：λ = 10^−6）に収束を顕著に加速する。リuter社データでは、10,000イテレーション後にランダムな特徴量分割と比較して、クラスタリングされた特徴量は19,473個の非ゼロ要素を達成したのに対し、ランダムな特徴量は110個にとどまった。
• 正則化パラメータが大きい場合（例：λ = 10^−4）には、クラスタリングされた特徴量が収束が遅くなる。これは、活性化されるブロックがわずか6つに抑えられ、並列性が制限され、ボトルネックが生じるためである。
• リター社データで、ランダムな特徴量分割では1秒間に153イテレーションを達成したが、クラスタリングされた特徴量では12.9イテレーションにとどまり、クラスタリングヒューリスティクスによる負荷分散の悪さが顕著に現れている。
• ブロック固有値半径ρ_blockは、異なるブロック内の特徴量間の最大内積によって上界で抑えられ、クラスタリングによる加速の理論的根拠を提供する。
• 最も正則化が強い状況（λ = 10^−4）では、クラスタリングされた特徴量では6つのみが活性化される一方、ランダムな特徴量分割では32ブロックすべてが活性化され、並列進行が著しく制限される。
• λ = 10^−5の場合、クラスタリングされた特徴量は初期段階でランダムな特徴量を上回るが、約250秒後にその優位性を失い、一時的な利点にとどまる。