[論文レビュー] Distributed Coordinate Descent Method for Learning with Big Data

Peter Richtárik, Martin Takáč|arXiv (Cornell University)|Oct 8, 2013

Stochastic Gradient Optimization Techniques参考文献 14被引用数 58

ひとこと要約

この論文は、クラスターノード間で特徴量を分割し、並列にランダムな座標部分集合を更新する大規模な学習問題向け分散座標降下法であるHydraを紹介する。データに依存するノルム（σおよびσ′）に依存する理論的収束バウンドを提示し、スループットがτおよび分割品質に比例して向上することを示し、最適化された通信プロトコルを用いて3TBのLASSO問題に対して最大3倍の高速化を達成した。

ABSTRACT

In this paper we develop and analyze Hydra: HYbriD cooRdinAte descent method for solving loss minimization problems with big data. We initially partition the coordinates (features) and assign each partition to a different node of a cluster. At every iteration, each node picks a random subset of the coordinates from those it owns, independently from the other computers, and in parallel computes and applies updates to the selected coordinates based on a simple closed-form formula. We give bounds on the number of iterations sufficient to approximately solve the problem with high probability, and show how it depends on the data and on the partitioning. We perform numerical experiments with a LASSO instance described by a 3TB matrix.

研究の動機と目的

• データが1台のマシンに収まらない大規模データ環境における座標降下法のスケーラビリティ課題に対処すること。
• ノード間およびノード内での並列処理を活用する分散座標降下アルゴリズムを設計し、大規模最適化を効率的に行うこと。
• 一般の滑らかで正則化された損失関数の下で、この手法の理論的収束保証を提供すること。
• データ構造（スペクトルノルムσ）と分割戦略（σ′）が性能に与える影響を分析し、実用者がスケーラビリティを予測できるようにすること。

提案手法

• d個の特徴量をc個の等しいサイズのブロックに分割し、クラスタ内の各ノードに割り当てることで、分散ストレージと局所的計算を可能にする。
• 各イテレーションで、各ノードは自身に割り当てられたパーティションからτ個のランダムな座標を選択し、偏微分に基づく閉形式の式を用いてそれらを更新する。
• ハイブリッド並列モデルを採用：ノード内での並列更新と、軽量な通信によるノード間の調整。
• 2つの重要なデータ依存量であるσ（データ行列のスペクトルノルム）とσ′（パーティションに起因するノルム）を導入し、収束速度とスケーラビリティを決定づける。
• 従来のreduce-all操作と比較して遅延を低減しスループットを向上させるために、非同期ループベース通信（ASL）を用いた最適化された通信プロトコルを採用。
• 計算と通信のオーバーヘッドをバランスさせるために、完全並列（FP）および交互並列/直列（PS）通信戦略の両方をサポートする。

実験結果

リサーチクエスチョン

• RQ1 分散座標降下法の収束速度は、データ構造と分割戦略にどのように依存するか？
• RQ2 大規模データ環境において、並列度（τ）を増加させることで、近似的に線形の高速化を達成できるか？
• RQ3 確率的に高確率でϵ-精度に到達するための反復回数の理論的バウンドは何か？
• RQ4 データ依存量σとσ′は、この手法のスケーラビリティとパフォーマンスにどのように影響を与えるか？
• RQ5 ASLのような最適化された通信プロトコルは、収束性を損なわずに反復時間を顕著に短縮できるか？

主な発見

• τ = 102のとき、基本的なRA-PS通信プロトコルと比較して、Hydraは最大3.11倍の高速化を達成し、最適化された通信による顕著なパフォーマンス向上を示した。
• 収束速度はσ（スペクトルノルム）とσ′（パーティションに起因するノルム）という2つのデータ依存量に依存し、事前に推定可能であるため、スケーラビリティの予測が可能になる。
• 強い凸性を持つ損失関数に対して、Hydraは確率1−ρ以上でO((dβ/(cτμ)) log(1/(ϵρ)))反復でϵ-精度解に収束する。ここでβはステップサイズ、μは強い凸性定数である。
• ASL-FPプロトコルは平均反復時間を0.025秒（RA-PSの0.040秒と比較）に短縮し、τ=10では1.62倍、τ=102では3.11倍の高速化を達成した。
• 実際の3TBのLASSO問題を30分未満で解き、損失を25桁分低減させた。これは、実世界の大規模データにおいて実用的なスケーラビリティを示している。
• 理論的分析から、σが小さい場合、τを増加させることでほぼ線形の高速化が得られる。一方、σが大きい場合、高速化はほとんど得られず、σが並列効率の主要な予測要因であることが示された。