[論文レビュー] A Distributed Frank-Wolfe Algorithm for Communication-Efficient Sparse Learning

Aurélien Bellet, Yingyu Liang+3 more|arXiv (Cornell University)|Apr 9, 2014

Sparse and Compressive Sensing Techniques参考文献 44被引用数 6

ひとこと要約

本稿では、ネットワークに分散配置されたデータを対象として、通信効率の高いスパース学習を実現する分散型フランク＝ウォルフ（dFW）アルゴリズムを提案する。反復的に通信量を抑えたグリーディーなアプローチで最も関連性の高いアトムを選択することで、dFWはアトム総数に依存しない最適な通信複雑度を達成し、収束性と非同期処理および通信障害に対する耐性について理論的保証を有する。

ABSTRACT

Learning sparse combinations is a frequent theme in machine learning. In this paper, we study its associated optimization problem in the distributed setting where the elements to be combined are not centrally located but spread over a network. We address the key challenges of balancing communication costs and optimization errors. To this end, we propose a distributed Frank-Wolfe (dFW) algorithm. We obtain theoretical guarantees on the optimization error $ε$ and communication cost that do not depend on the total number of combining elements. We further show that the communication cost of dFW is optimal by deriving a lower-bound on the communication cost required to construct an $ε$-approximate solution. We validate our theoretical analysis with empirical studies on synthetic and real-world data, which demonstrate that dFW outperforms both baselines and competing methods. We also study the performance of dFW when the conditions of our analysis are relaxed, and show that dFW is fairly robust.

研究の動機と目的

• 複数のノードに分散配置されたデータにおいて、通信オーバーヘッドを最小化する課題に対処すること。
• 大規模分散機械学習における同期化および通信コストを低減するスケーラブルでパラメータフリーのアルゴリズムを開発すること。
• 最適化誤差と通信コストについて、アトム総数 $ n $ に依存しない理論的保証を提供すること。
• 実際の展開における非同期処理やランダムな通信障害といったネットワーク問題に対しても耐性を確保すること。
• スパースデータを用いた実世界および合成的設定において、dFWがベースライン手法およびADMMを上回る実用的優位性を示すこと。

提案手法

• 各ノードが局所的な反復値を保持し、選択されたアトムのみを通信する分散環境に、集中型フランク＝ウォルフアルゴリズムを適応する。
• 各反復で、各ノードが局所的勾配を計算し、勾配との内積が最大となるアトムを選択することで、1反復あたりの通信量を最小化する。
• 局所的勾配の再帰的更新スキームを導入することで、メモリおよび計算オーバーヘッドを低減し、ノード1つあたりの計算量を $ O(n_i) $ に抑える。
• 高コストノードをクラスタリングすることで局所的計算のバランスを取る近似版を導入し、同期遅延を低減する。
• 他のノードの応答を待たずにノードが処理を進行可能とする非同期更新を可能にし、不安定なネットワーク下でのスケーラビリティを向上させる。
• フランク＝ウォルフフレームワークがスパarsityを維持できることを活用し、通信および更新対象は常に関連性の高いアトムに限定する。

実験結果

リサーチクエスチョン

• RQ1 分散型フランク＝ウォルフアルゴリズムは、アトム総数 $ n $ に依存しない通信複雑度を達成できるか？
• RQ2 分散スパース学習において $ \epsilon $-近似解を構築するための通信コストの理論的下界は何か？
• RQ3 負荷の不均衡、非同期処理、ランダムな通信障害といった実用的課題下で、dFWはどのように性能を発揮するか？
• RQ4 スパースデータにおいて、ADMMなどの既存手法に比べ、dFWは通信効率および収束速度で優れているか？
• RQ5 dFWの通信コストは最悪ケースで最適であり、導出された下界と一致するか？

主な発見

• dFWの通信コストは、$ n $ に依存しない量で上界が定まる。その値は $ \epsilon $、$ d $、およびネットワークトポロジーにのみ依存する。
• dFWは通信複雑度 $ O(d/\epsilon) $ を達成し、導出された下界 $ \Omega(d/\epsilon) $ と一致するため、最悪ケースでの最適性が証明される。
• 合成データおよび実世界データにおいて、dFWはアトム選択に局所的基準を用いるベースライン手法よりも通信効率および収束速度で優れている。
• データおよび解がスパースである場合、特に大規模設定において、dFWはADMMよりもはるかに少ない通信量で処理を完了する。
• dFWは非同期更新に対しても耐性を示し、最大40％のランダムな通信障害下でも収束を維持する。
• 50ノードの実際の分散アーキテクチャにおいて、dFWはほぼ線形のスループット向上を達成し、同期のオーバーヘッドが低く、強力なスケーラビリティを示している。