[論文レビュー] An efficient distributed learning algorithm based on effective local functional approximations

Dhruv Mahajan, Nikunj Agrawal+3 more|arXiv (Cornell University)|Oct 31, 2013

Stochastic Gradient Optimization Techniques参考文献 27被引用数 6

ひとこと要約

この論文では、大規模な機械学習における通信オーバーヘッドを低減するために、局所的な関数近似を用いる新しい分散学習アルゴリズムFADLを提案する。各ノードが局所的に近似された目的関数を解き、結果を反復的に統合することで、FADLはグローバルな線形収束を達成し、通信が重い環境下でTerascaleなどの最先端手法を上回り、kdd2010、url、webspamなどのさまざまなデータセットで1–10倍の高速化を達成した。

ABSTRACT

Scalable machine learning over big data is an important problem that is receiving a lot of attention in recent years. On popular distributed environments such as Hadoop running on a cluster of commodity machines, communication costs are substantial and algorithms need to be designed suitably considering those costs. In this paper we give a novel approach to the distributed training of linear classifiers (involving smooth losses and L2 regularization) that is designed to reduce the total communication costs. At each iteration, the nodes minimize locally formed approximate objective functions; then the resulting minimizers are combined to form a descent direction to move. Our approach gives a lot of freedom in the formation of the approximate objective function as well as in the choice of methods to solve them. The method is shown to have $O(log(1/ε))$ time convergence. The method can be viewed as an iterative parameter mixing method. A special instantiation yields a parallel stochastic gradient descent method with strong convergence. When communication times between nodes are large, our method is much faster than the Terascale method (Agarwal et al., 2011), which is a state of the art distributed solver based on the statistical query model (Chuet al., 2006) that computes function and gradient values in a distributed fashion. We also evaluate against other recent distributed methods and demonstrate superior performance of our method.

研究の動機と目的

• ビッグデータにおける分散機械学習の通信コストの高い問題に取り組むこと、特に通信遅延が計算時間の大部分を占める状況を想定する。
• 強い収束保証を維持しながら通信回数を最小限に抑える柔軟な分散最適化フレームワークを設計すること。
• 分散型で例ごとにデータを分割した環境下で、滑らかな損失関数とL2正則化を伴う線形分類器の効率的な学習を可能にすること。
• 反復的パrameter混合手法のクラスにおけるグローバルな線形収束速度（glrc）の理論的基盤を確立すること。
• Terascale、CoCoA、ADMMなどの既存手法と比較して、合計学習時間と通信効率の面で優れた性能を示すこと。

提案手法

• 各ノードで局所的に保存されたデータパーティションに基づき、グローバル目的関数の局所的関数近似を用いる。
• 各ノードは、任意の適切な局所最適化手法を用いて自身の近似目的関数を最小化し、計算の柔軟性を確保する。
• 得られた局所最小化子を集約してグローバル反復における降下方向を形成し、グローバル目的関数の降下を保証する。
• 本手法は、弱凸性および勾配の一致性条件の下で収束が保証される反復的パrameter混合（IPM）スキームとして定式化される。
• 主なイノベーションの一つは、特徴量の重複を許容する特徴量分割における勾配部分的一致性の使用であり、収束性を損なわずに可能となる。
• 本アルゴリズムは、例と特徴量の両方を分割する設定にも対応でき、非凸設定へも拡張可能だが、凸ケースでの収束解析がより単純である。

実験結果

リサーチクエスチョン

• RQ1 通信回数を削減しつつグローバルな線形収束を維持できる分散学習アルゴリズムを設計できるか？
• RQ2 柔軟な近似と早期停止を許容する局所最適化が、通信が重い環境下での合計学習時間の短縮に寄与するか？
• RQ3 重複する特徴量集合を持つ特徴量分割に対しても、収束性を保ちながら一般化可能か？
• RQ4 Terascale、CoCoA、ADMMといった最先端ソルバーと比較して、通信と計算のトレードオフにおいて本手法はどのように差をつけるか？
• RQ5 関数近似に基づく反復的パrameter混合手法のクラスに対して、証明可能なグローバルな線形収束速度が存在するか？

主な発見

• FADLはグローバルな線形収束速度（glrc）を達成し、誤差が反復ごとに定数倍に減少するため、ε-最適性に到達するにはO(log(1/ε))回の反復で十分である。
• 特に通信が重い環境下では、Terascaleと比較して通信回数を数個のオーダーも低減した。
• 1回の反復あたりの計算量が高めであるが、kdd2010、url、webspamなどの複数のデータセットで、Terascaleに対して1–10倍の高速化を達成した。
• FADLの合計計算コスト対通信コスト比は平均で1.2–1.6であり、CoCoA（0.1–0.16）やADMM（1.3–3.5）と比較して著しく優れており、バランスが良いことを示している。
• 中程度および低次元のデータセットでも、FADLはCoCoAやADMMを上回る合計学習時間で性能を発揮し、さまざまな設定にわたる頑健性を示した。
• 収束性や性能に影響を与えることなく、重複する特徴パーティションやリサンプリングを含む柔軟なデータ利用が可能である。