[論文レビュー] An Accelerated Communication-Efficient Primal-Dual Optimization Framework for Structured Machine Learning

Chenxin Ma, Martin Jaggi+3 more|arXiv (Cornell University)|Nov 14, 2017

Stochastic Gradient Optimization Techniques参考文献 5被引用数 4

ひとこと要約

本稿では、構造的機械学習問題のための高速で通信効率の良いプライマル・デュアル最適化フレームワークであるAccCoCoA+を提案する。CoCoA+フレームワークにネステロフ風の加速を統合することで、CoCoA+よりも著しくタイトな定数を伴う最適な$Ø(1/t^2)$収束率を達成し、通信オーバーヘッドを低減した分散環境下でもより速い収束と優れた性能を実現する。

ABSTRACT

Distributed optimization algorithms are essential for training machine learning models on very large-scale datasets. However, they often suffer from communication bottlenecks. Confronting this issue, a communication-efficient primal-dual coordinate ascent framework (CoCoA) and its improved variant CoCoA+ have been proposed, achieving a convergence rate of $\mathcal{O}(1/t)$ for solving empirical risk minimization problems with Lipschitz continuous losses. In this paper, an accelerated variant of CoCoA+ is proposed and shown to possess a convergence rate of $\mathcal{O}(1/t^2)$ in terms of reducing suboptimality. The analysis of this rate is also notable in that the convergence rate bounds involve constants that, except in extreme cases, are significantly reduced compared to those previously provided for CoCoA+. The results of numerical experiments are provided to show that acceleration can lead to significant performance gains.

研究の動機と目的

• 既存の通信効率の良いフレームワークの収束速度を向上させることで、分散機械学習における通信ボトル neck を緩和すること。
• CoCoA+よりも速い収束を達成しながら、部分問題の不正確解に対しても頑健である通信効率の良いプライマル・デュアルアルゴリズムを開発すること。
• CoCoA+と比較して、収束率の境界におけるよりタイトな定数を理論的に保証すること。
• 実世界のデータセットを用いた広範な数値実験を通じて、加速の実用的利点を検証すること。

提案手法

• フレームワークは、デュアル更新ステップにネステロフ風の加速を組み込むことでCoCoA+を拡張し、部分最適性の低下をより速く実現する。
• 局所ワーカーが任意の局所ソルバーを用いて部分問題を解くプライマル・デュアル構造を維持し、グローバルなデュアル変数はモーメンタムに基づくスキームで更新される。
• 収束と通信効率のバランスを取るために、パrameter $γ$ を用いた可変ステップサイズ戦略を採用する。
• 部分問題の不正確解に対しても頑健であるように設計されており、限られた内側反復回数での実装が可能である。
• 理論的分析により、部分最適性を減少させる$Ø(1/t^2)$収束率が確立され、CoCoA+と比較して定数が著しく小さいことが示された。
• 滑らかでない正則化子もサポートしており、LassoやSVM問題への応用が可能である。

実験結果

リサーチクエスチョン

• RQ1 CoCoA+フレームワークに加速を効果的に統合することで、分散機械学習における収束をより速くできるか？
• RQ2 加速されたバージョンは、収束速度の向上を達成しながらも通信効率を維持できるか？
• RQ3 AccCoCoA+とCoCoA+の収束率における理論的定数はどのように比較できるか？
• RQ4 正則化パラメータと部分問題の精度は、加速手法のパフォーマンスにどのような影響を与えるか？
• RQ5 分散環境におけるマシン数の増加に伴い、アルゴリズムはどのようにスケーリングするか？

主な発見

• AccCoCoA+は、部分最適性を減少させるために最適な$Ø(1/t^2)$収束率を達成し、CoCoA+の$Ø(1/t)$レートを上回る。
• AccCoCoA+の理論的境界は、特に極端でない状況において、CoCoA+のそれよりも著しくタイトな定数を有する。
• 数値実験では、加速により双対ギャップの低下が速くなることが示され、正則化パラメータ$\lambda$が小さい場合に顕著な向上が観察された。
• Lasso問題において、AccCoCoA+は特に$\lambda_1$が小さい場合に最適解への収束が速く、スパース解への性能向上を示している。
• 部分問題を解くための内側反復回数$H$の選択は、実行時間に非単調な影響を及ぼし、計算と通信のバランスを取る最適な$H$が存在する。
• 特に$\gamma=1$の場合、$K$の増加に伴ってAccCoCoA+はCoCoA+よりもより良くスケーリングし、マシン数に関わらず安定した実行時間を示す。