[論文レビュー] A distributed block coordinate descent method for training $l_1$ regularized linear classifiers

Dhruv Mahajan, S. Sathiya Keerthi+1 more|arXiv (Cornell University)|May 18, 2014

Sparse and Compressive Sensing Techniques参考文献 22被引用数 18

ひとこと要約

本稿では、Hadoopクラスタのような通信コストの高い環境を想定して最適化された、$l_1$-正則化線形分類器のための分散ブロック座標降下（DBCD）手法を提案する。各ノードでブロック単位の最適化を実行し、変数選択にグリーディー・ゴースト・サウスウェル方式を用いることで、通信オーバーヘッドを低減し、既存手法よりも高速な収束を達成する。実験では大規模データセット上で顕著な高速化が確認された。

ABSTRACT

Distributed training of $l_1$ regularized classifiers has received great attention recently. Most existing methods approach this problem by taking steps obtained from approximating the objective by a quadratic approximation that is decoupled at the individual variable level. These methods are designed for multicore and MPI platforms where communication costs are low. They are inefficient on systems such as Hadoop running on a cluster of commodity machines where communication costs are substantial. In this paper we design a distributed algorithm for $l_1$ regularization that is much better suited for such systems than existing algorithms. A careful cost analysis is used to support these points and motivate our method. The main idea of our algorithm is to do block optimization of many variables on the actual objective function within each computing node; this increases the computational cost per step that is matched with the communication cost, and decreases the number of outer iterations, thus yielding a faster overall method. Distributed Gauss-Seidel and Gauss-Southwell greedy schemes are used for choosing variables to update in each step. We establish global convergence theory for our algorithm, including Q-linear rate of convergence. Experiments on two benchmark problems show our method to be much faster than existing methods.

研究の動機と目的

• Hadoopクラスタのような通信コストの高い分散環境において、既存の$l_1$-正則化分類器学習手法の非効率性を解消すること。
• 各ノードでのブロック最適化により、外反復回数を削減し、計算対通信比を最適化すること。
• 通信が主なボトルネックとなるコンmodityハードウェアクラスタにおいて、既存の座標降下手法を上回る性能を発揮する手法を設計すること。
• 損失関数の標準的仮定および勾配のリプシッツ連続性の下で、Q線形収束率を示すグローバル収束を確立すること。

提案手法

• 目的関数に対してプロキシマル・ジャコビ近似を用いることで、各計算ノードでの効率的なブロック単位最適化を可能にする。
• 各反復で最も有望な変数を更新するために、分散型のグリーディー・ゴースト・サウスウェル方式を採用し、収束速度を向上させる。
• 各ノードは、全ノードの同期を取るためにAllReduceを用いてグローバルモデルと勾配を更新する前に、割り当てられた変数ブロックに対して複数回の座標降下ステップを実行する。
• 各更新ステップで目的関数の十分な減少を保証するために、バックトラッキングを用いたラインサーチを適用する。
• 各ノードが反復ごとに更新する変数数を制御するためのWSS（ワークサイズ）パラメータを統合し、計算負荷と通信頻度のバランスを取る。
• 損失関数の標準的仮定および勾配のリプシッツ連続性の下で、Q線形収束率のグローバル収束を理論的に証明する。

実験結果

リサーチクエスチョン

• RQ1 Hadoopのような高レイテンシクラスタにおいて、分散ブロック座標降下手法が$l_1$-正則化分類器学習における通信オーバーヘッドを低減できるか？
• RQ2 個々の変数の更新ではなく、各ノードでのブロック最適化を実行することで、収束速度の向上と反復回数の削減が達成できるか？
• RQ3 特にグリーディー・ゴースト・サウスウェル方式と比較して、ランダム選択やガウス＝ザイデル方式の変数選択戦略が収束速度とスケーラビリティに与える影響は？
• RQ4 WSSやノード数といったパラメータ設定が、大規模分散環境における学習時間と収束に与える影響は？
• RQ5 標準的な滑らかさおよび凸性仮定の下で、このブロック座標アプローチに対してQ線形収束率を示すグローバル収束が確立できるか？

主な発見

• グリーディー・サウスウェル選択戦略を用いるDBCD-Sバージョンは、大規模データセットにおいて収束速度と学習時間の両面で他の手法を常に上回った。
• KDDおよびURLデータセットでは、DBCD-S手法が既存手法よりも高速に収束し、外反復回数が顕著に削減された。
• 固定許容誤差（例：RFVD = -2）のもとで、ノード数を25から100に増加させても学習時間にほぼ差がなく、通信コストがスケーラビリティの上限を決定しており、最適なノード数が存在することが示された。
• ノードごとのブロック最適化により通信頻度が顕著に低下し、単一変数更新手法よりも通信コストの高い環境でより効率的であることが実証された。
• 実験では、プロキシマル・ジャコビ近似とグリーディー変数選択の組み合わせが、通信が高コストである状況では標準的手法よりも高速な収束を実現した。
• アルゴリズムはQ線形収束率を達成しており、標準的仮定の下で強い理論的収束保証が確認された。