[論文レビュー] Partitioning Data on Features or Samples in Communication-Efficient Distributed Optimization?

Chenxin Ma, Martin Takáč|arXiv (Cornell University)|Oct 22, 2015

Stochastic Gradient Optimization Techniques参考文献 16被引用数 6

ひとこと要約

本稿は、通信効率の良い分散最適化におけるデータパーティショニング戦略を調査し、サンプルベース（DiSCO-S）と特徴量ベース（DiSCO-F）のパーティショニングを比較している。本稿ではDiSCO-Fを提案・分析し、n < d の場合に特徴量パーティショニングが通信コストを低減し、計算負荷のバランスを改善することで、特に高次元性が顕著な大規模データセットにおいて、収束が速くなることを示している。

ABSTRACT

In this paper we study the effect of the way that the data is partitioned in distributed optimization. The original DiSCO algorithm [Communication-Efficient Distributed Optimization of Self-Concordant Empirical Loss, Yuchen Zhang and Lin Xiao, 2015] partitions the input data based on samples. We describe how the original algorithm has to be modified to allow partitioning on features and show its efficiency both in theory and also in practice.

研究の動機と目的

• データパーティショニング（サンプルまたは特徴量に基づく）が分散最適化における通信効率に与える影響を分析すること。
• スケーラビリティを向上させるために、データを特徴量でパーティショニングする（DiSCO-Fと呼ばれる）修正版DiSCOアルゴリズムを提案・実装すること。
• 理論的および実践的観点から、DiSCO-S（サンプルパーティショニング）とDiSCO-F（特徴量パーティショニング）の計算コストと通信コストを比較すること。
• 実世界の大規模データセットにおけるDiSCO-Fの性能を評価し、DiSCO-SおよびCoCoA+と比較すること。

提案手法

• すべてのサンプルに対して部分的な特徴量のサブセットを処理するように、局所計算を再構築することで、DiSCOアルゴリズムに特徴量ベースのデータパーティショニングを統合する。
• 各イテレーションで探索方向を効率的に計算するために、不正確なニュートン法とプリコンディショニング共役勾配（PCG）ソルバーを用いる。
• 局所ヘッセ行列の近似値の平均に正則化項を加えたプリコンディショナー P を定義し、収束を高速化する。
• 通信を削減するため、ノード間のデータ転送を最小限に抑える：DiSCO-Fでは1イテレーションあたり長さnのベクトル1つのReduceAllが必要であるのに対し、DiSCO-Sでは長さdのベクトルが必要となる。
• ノードレベルの計算と通信のパターンを統合し、作業のバランスをとることで、アイドル時間を削減する。
• C++でDiSCO-Fを実装し、実世界のデータセット（news20.binary、kdd2010、epsilonなど）を用いてAmazon EC2で評価した。

実験結果

リサーチクエスチョン

• RQ1 分散最適化における通信コストという観点から、特徴量ベースのデータパーティショニングとサンプルベースのパーティショニングの違いは何か？
• RQ2 DiSCO-Fは通信オーバーヘッドを低減しつつ、DiSCO-Sと同等の収束速度を達成できるか？
• RQ3 データ次元数（d）とサンプル数（n）が、DiSCO-FとDiSCO-Sの通信効率に与える影響は何か？
• RQ4 DiSCO-Fは、DiSCO-Sと比較して、ノード間での計算負荷のバランスをどのように改善するか？
• RQ5 実世界のデータセットにおいて、DiSCO-FはCoCoA+と比較して、経過時間と通信効率の点で優れているか？

主な発見

• n < d の場合、DiSCO-Fは1イテレーションあたり長さnのベクトル1つのReduceAllで済むため、DiSCO-Sに比べて通信コストを削減する。
• DiSCO-FはDiSCO-Sと同等の収束速度を達成するが、通信ラウンド数を約半分に抑え、実際の実行が速くなる。
• kdd2010（d ≈ 29.9M）のような高次元データセットでは、通信オーバーヘッドの低減により、DiSCO-FがDiSCO-Sを顕著に上回る。
• 各ノードがサンプルではなく特徴量のサブセットを処理するため、DiSCO-Fは計算負荷のバランスを改善し、より均等に作業を分散する。
• 数値実験では、DiSCO-Fは大規模データセットにおいて、収束速度と通信効率の点でCoCoA+と同等またはそれを上回る性能を示した。
• 特徴量ごとのパーティショニングにより、より効率的な通信パターンを実現しながらも、理論的収束保証を維持している。