[論文レビュー] Adding vs. Averaging in Distributed Primal-Dual Optimization

Chenxin Ma, Virginia Smith+4 more|arXiv (Cornell University)|Feb 12, 2015

Stochastic Gradient Optimization Techniques参考文献 37被引用数 62

ひとこと要約

この論文は、局所的更新の保守的な平均化を、加法的結合に置き換えることで、分散型のプライマル・デュアル最適化フレームワーク CoCoA$^\text{+}$ を導入する。これにより、マシン数の増加に伴い、収束速度が向上し、強スケーリングが達成される。この手法は、滑らかでない凸損失関数に対しても理論的に保証された収束を達成し、最悪ケースにおいても、作業マシン数に依存しない収束レートを有する。これは大規模分散環境において、CoCoA よりも顕著に優れた性能を発揮する。

ABSTRACT

Distributed optimization methods for large-scale machine learning suffer from a communication bottleneck. It is difficult to reduce this bottleneck while still efficiently and accurately aggregating partial work from different machines. In this paper, we present a novel generalization of the recent communication-efficient primal-dual framework (CoCoA) for distributed optimization. Our framework, CoCoA+, allows for additive combination of local updates to the global parameters at each iteration, whereas previous schemes with convergence guarantees only allow conservative averaging. We give stronger (primal-dual) convergence rate guarantees for both CoCoA as well as our new variants, and generalize the theory for both methods to cover non-smooth convex loss functions. We provide an extensive experimental comparison that shows the markedly improved performance of CoCoA+ on several real-world distributed datasets, especially when scaling up the number of machines.

研究の動機と目的

• 分散機械学習における通信ボトルneckを克服するため、作業マシン間での局所的更新の集約方法を改善すること。
• 収束レートをマシン数 K に依存させないことで、分散最適化における強スケーリングを実現すること。
• CoCoAフレームワークを一般化し、局所的更新の加法的結合を可能にしつつ、理論的収束保証を維持すること。
• 非滑らかで凸な損失関数（SVM や非滑らか回帰を含む）に対しても収束解析を拡張すること。
• 実用的な停止基準やパフォーマンスの証明を可能にする、プライマル・デュアル収束レートの提供。

提案手法

• 局所的サブプロブレムの一般化された定式化を提案し、平均化の代わりに局所的更新の加法的結合を可能にする。
• 局所ソルバーの選択とは独立して更新ステップサイズを制御するデータ依存パラメータ $\sigma'$ を導入する。
• 各ワーカーのサブプロブレム内で任意の局所ソルバー（例：SDCA や最新の手法）を用いることで、単一マシンでの進展を分散環境へ直接移転可能にする。
• プライマルおよびデュアル目的関数の理論的収束レートを導出し、一般凸ケースにおいてより緊密な境界を達成する。
• ブロック分離可能なプロキシマル項をデュアル定式化に用いることで、バッチ型更新を実現しつつ通信効率を維持する。
• DisDCA-p が、SDCA を用い $\sigma' = K$ かつ等分割の条件下で CoCoA$^\text{+}$ の特殊ケースであることを確立する。

実験結果

リサーチクエスチョン

• RQ1 分散最適化における局所的更新の加法的結合は、特にマシン数が増加する際、平均化よりも収束が速くなるか。
• RQ2 プライマル・デュアルフレームワークにおいて、非滑らかで凸な損失関数に対しても理論的収束保証を拡張できるか。
• RQ3 任意の局所ソルバー（最新の座標法以外の手法も含む）を用いても、収束性が保たれるか。
• RQ4 収束レートを作業マシン数 K に依存させず、強スケーリングを実現できるか。
• RQ5 プライマル・デュアル収束レートを導出し、最適化品質の実用的証明を提供できるか。

主な発見

• CoCoA$^\text{+}$ は強スケーリングを達成する：最悪ケースにおいても、マシン数 K に依存しない収束レートを有する。これは、CoCoA とは対照的であり、K の増加に伴い性能が劣化する。
• 滑らかでない凸損失関数に対しても、理論的収束レートが確立され、従来の滑らか関数に限られた研究を拡張する。
• CoCoA および CoCoA$^\text{+}$ に対して、プライマル・デュアル収束レートが導出され、実用的な停止基準やパフォーマンス監視が可能になる。
• 実世界のデータセットを用いた実験により、CoCoA$^\text{+}$ が CoCoA や他のベースラインより顕著に収束速度が速く、特に K が大きい場合に顕著に優れることが確認された。
• このフレームワークは任意の局所ソルバーを許容する。CoCoA$^\text{+}$ は DisDCA-p の一般化と見なせ、これは特定の条件下（SDCA、$\sigma'=K$、等分割）でのみ回復される。
• 更新を加算しても理論的に安全であることが保証され、データのスパarsity を活用して $\sigma'$ をチューニングすることで、より良いパフォーマンスが得られる。