[論文レビュー] CoCoA: A General Framework for Communication-Efficient Distributed Optimization

Virginia Smith, Simone Forte+4 more|arXiv (Cornell University)|Nov 7, 2016

Stochastic Gradient Optimization Techniques参考文献 12被引用数 86

ひとこと要約

CoCoAは、非強い凸および滑らかでない問題において収束を保証する、通信効率的で汎用的な分散凸最適化フレームワークを提示する。局所的ソルバーおよびデータ分割（サンプルまたは特徴量別）の柔軟な利用を可能にするとともに、プライマル・デュアル分解と双対ギャップのモニタリングを活用して、適応的停止を実現し、最先端手法比で最大50倍の高速化を達成する。

ABSTRACT

The scale of modern datasets necessitates the development of efficient distributed optimization methods for machine learning. We present a general-purpose framework for distributed computing environments, CoCoA, that has an efficient communication scheme and is applicable to a wide variety of problems in machine learning and signal processing. We extend the framework to cover general non-strongly-convex regularizers, including L1-regularized problems like lasso, sparse logistic regression, and elastic net regularization, and show how earlier work can be derived as a special case. We provide convergence guarantees for the class of convex regularized loss minimization objectives, leveraging a novel approach in handling non-strongly-convex regularizers and non-smooth loss functions. The resulting framework has markedly improved performance over state-of-the-art methods, as we illustrate with an extensive set of experiments on real distributed datasets.

研究の動機と目的

• ノード間のデータ転送を最小限に抑えることで、分散機械学習における通信ボトルネックを解消するフレームワークの設計。
• L1正則化やエラスチックネットモデルを含む、広範な凸正則化損失最小化問題をサポートする。
• 分散マシン間で、トレーニング例または特徴量別に柔軟にデータを分割可能である。
• 収束保証を損なわずに、任意の高性能な単一マシンソルバーを分散環境に統合できる。
• 先行研究（CoCoA-v1およびCoCoA+を含む）を一般化する統一フレームワークを提供する。

提案手法

• 各マシンが自身のデータパーティションに基づいて、プライマルまたはデュアル空間で局所的サブプロブレムを解く、プライマル・デュアル分解戦略を採用する。
• 双対変数または部分勾配情報のみを交換する柔軟な通信スキームを採用し、通信オーバーヘッドを低減する。
• 双対性を活用してグローバル目的関数を局所的サブプロブレムに分解し、最小限の調整で並列計算を可能にする。
• 双対ギャップを停止基準として用いることで、非強い凸正則化子および非滑らか損失関数を扱う新しい解析により、収束を保証する。
• プライマルおよびデュアル定式化をサポートし、収束速度の理論的境界を、局所的ソルバーの品質と問題の条件数に依存させる。
• 局所的ソルバーの近似品質（Θ）および問題固有の定数に依存するパrameter化された収束速度を持つランダム化座標更新ルールを用いる。

実験結果

リサーチクエスチョン

• RQ1 任意の局所的ソルバーをサポートしつつ、非強い凸および非滑らか問題に対して収束を保証できる汎用的分散最適化フレームワークを設計可能か？
• RQ2 収束速度や解の品質を損なわず、分散学習における通信効率を最大限に高めることは可能か？
• RQ3 Lasso やスパースロジスティック回帰などのL1正則化問題に適用した際の、フレームワークの理論的収束速度は何か？
• RQ4 分散環境において、双対ギャップを解の正確性の証明として信頼できる停止基準として使用できるか？
• RQ5 異なるデータ分割戦略（サンプル別 vs. 特徴量別）およびシステム構成における、フレームワークのスケーリング性能はいかがなっているか？

主な発見

• 実際の分散データセット上での実験により、最先端手法比で最大50倍の高速化を達成し、実用的な効率性の大幅な向上を示した。
• L1正則化問題（Lasso やスパースロジスティック回帰を含む）を含む、広範な凸正則化目的関数に対して収束が保証される。
• 双対ギャップを解の正確性の証明として用い、理論的保証のもとで早期停止を可能にする。
• 期待される双対ギャップの収束速度はO(1/t)で抑えられ、局所的ソルバーの品質（Θ）、条件数、通信頻度に明示的な依存関係を示す。
• 局所的サブプロブレムが強い凸である場合、反復回数に応じて線形収束を達成し、収束速度は条件数と通信頻度に依存する。
• CoCoA-v1 や CoCoA+ といった先行研究を特別なケースとして統合するため、より柔軟な理論的フレームワークとして一般化されている。