[論文レビュー] Distributed Asynchronous Stochastic Dual Coordinate Ascent without Duality.

Zhouyuan Huo, Heng Huang|arXiv (Cornell University)|May 29, 2016

Stochastic Gradient Optimization Techniques被引用数 1

ひとこと要約

本稿では、非凸目的関数においても線形収束を達成する非双対的で非同期な確率的双対座標降下法を、双対定式化を必要とせずに分散最適化に適用する手法を提案する。非凸目的関数における制限を克服し、非同期通信により遅延マシン問題を軽減する。凸および非凸損失関数の両方で検証され、非凸個々の関数に対しても線形収束を達成する。

ABSTRACT

The primal-dual distributed optimization methods have broad large-scale machine learning applications. Previous primal-dual distributed methods are not applicable when the dual formulation is not available, e.g. the sum-of-non-convex objectives. Moreover, these algorithms and theoretical analysis are based on the fundamental assumption that the computing speeds of multiple machines in a cluster are similar. However, the straggler problem is an unavoidable practical issue in the distributed system because of the existence of slow machines. Therefore, the total computational time of the distributed optimization methods is highly dependent on the slowest machine. In this paper, we address these two issues by proposing distributed asynchronous dual free stochastic dual coordinate ascent algorithm for distributed optimization. Our method does not need the dual formulation of the target problem in the optimization. We tackle the straggler problem through asynchronous communication and the negative effect of slow machines is significantly alleviated. We also analyze the convergence rate of our method and prove the linear convergence rate even if the individual functions in objective are non-convex. Experiments on both convex and non-convex loss functions are used to validate our statements.

研究の動機と目的

• 和集合が非凸である目的関数に対して双対定式化が得られないため、従来のプライマル・デュアル分散最適化手法に見られる双対定式化の必要性という制限を解消すること。
• 分散システムにおける遅延マシン（straggler）問題を克服すること。遅延マシンが性能を制限する要因となる。
• 双対性に依存しない分散最適化手法を開発し、異種コンピューティング環境でも効率を維持すること。
• 非同期通信下での非凸目的関数に対して理論的収束保証を確立すること。

提案手法

• 最適化問題の双対定式化を必要としない分散非同期確率的双対座標降下法を提案する。
• 非同期通信を用いて計算と同期を分離し、遅延マシンへの依存度を低減する。
• 双対定式化を用いない更新メカニズムを採用し、双対変数に対する座標降下を用いて直接プライマル目的関数を最適化する。
• 個々の関数が非凸であっても線形収束を保証する収束解析フレームワークを導入する。
• 座標の確率的サンプリングと非同期更新を活用し、分散クラスタにおけるスケーラビリティとロバスト性を維持する。
• 凸および非凸損失関数の両方と互換性を持つようにアルゴリズムを設計し、より広範な適用可能性を実現する。

実験結果

リサーチクエスチョン

• RQ1 最適化問題の双対定式化を必要としない分散最適化アルゴリズムは、線形収束を達成できるか？
• RQ2 分散システムにおける確率的双対座標降下法において、遅延マシン問題を効果的に軽減できるか？
• RQ3 目的関数に含まれる個々の関数が非凸であっても、線形収束は達成可能か？
• RQ4 双対定式化を用いない確率的双対座標降下法に非同期通信を効果的に統合できるか？収束保証を損なわないか？
• RQ5 非凸設定において、このような手法の収束を支える理論的基盤は何か？

主な発見

• 提案手法は、非凸個々の関数に対しても線形収束を達成する。これは、従来の手法がしばしば凸性を仮定するのに対し、理論的進展として顕著である。
• 目的関数の双対定式化を必要としないため、双対が得られないか、計算が困難な問題への適用が可能になる。
• 非同期通信により遅延マシン問題が効果的に軽減され、最も遅いマシンへの依存度が低下し、全体のシステム効率が向上する。
• 凸および非凸損失関数における実験的結果から、本手法の有効性とロバスト性が、実世界の分散環境で確認された。
• 理論的解析により、双対定式化が存在しない状況や非凸目的関数下でも、非同期更新において線形収束が保証されることが確認された。