[論文レビュー] A General Distributed Dual Coordinate Optimization Framework for Regularized Loss Minimization

Shun Zheng, Jialei Wang+3 more|arXiv (Cornell University)|Apr 13, 2016

Stochastic Gradient Optimization Techniques参考文献 29被引用数 8

ひとこと要約

本稿では、データ並列設定における正則化損失最小化のための新しい分散型デュアル座標最適化フレームワーク、Distributed Alternating Dual Maximization (DADM) を提案する。新たなデュアル定式化により、補助変数βを介して局所的デュアル変数を分離することで、理論的にも速い収束を保証する効率的な分散最適化を可能にした。特に、加速版（Acc-DADM）により、条件数に依存しない改善された反復複雑度を達成する。

ABSTRACT

In modern large-scale machine learning applications, the training data are often partitioned and stored on multiple machines. It is customary to employ the "data parallelism" approach, where the aggregated training loss is minimized without moving data across machines. In this paper, we introduce a novel distributed dual formulation for regularized loss minimization problems that can directly handle data parallelism in the distributed setting. This formulation allows us to systematically derive dual coordinate optimization procedures, which we refer to as Distributed Alternating Dual Maximization (DADM). The framework extends earlier studies described in (Boyd et al., 2011; Ma et al., 2015a; Jaggi et al., 2014; Yang, 2013) and has rigorous theoretical analyses. Moreover with the help of the new formulation, we develop the accelerated version of DADM (Acc-DADM) by generalizing the acceleration technique from (Shalev-Shwartz and Zhang, 2014) to the distributed setting. We also provide theoretical results for the proposed accelerated version and the new result improves previous ones (Yang, 2013; Ma et al., 2015a) whose runtimes grow linearly on the condition number. Our empirical studies validate our theory and show that our accelerated approach significantly improves the previous state-of-the-art distributed dual coordinate optimization algorithms.

研究の動機と目的

• 分散システムにおけるデータを複数のマシンに分割した状況下で、正則化損失最小化をスケーリングする課題に対処すること。
• 従来のデュアル座標法が分散環境下でデュアル変数の結合性に起因する制約を抱える問題を克服すること。
• 理論的裏付けがあり、通信効率の高い最適化フレームワークを、現代の大規模機械学習ワークロードに適した形で開発すること。
• Proximal SDCAアルゴリズムを分散環境に拡張し、高速な収束性を維持するとともに、L2-L1のような複雑な正則化を扱えるようにすること。

提案手法

• 補助デュアル変数βを導入することで、マシン間の局所的デュアル変数を分離する新しい分散型デュアル定式化を提案する。
• 2段階の交互最適化手順を設計：各マシンでの局所的デュアル最大化の後、全体制御のプライマル変数の同期。
• Proximal SDCA法を分散環境に適応させ、複雑な正則化を伴う効率的な局所的最適化を可能にする。
• Shalev-Shwartz & Zhang (2014) が提案した加速技術を分散型デュアルフレームワークに一般化することで、Acc-DADMを導入する。
• 通信効率の高いプロトコルを採用し、マシン間で送信されるのはグローバルな更新のみであり、ネットワークオーバーヘッドを最小限に抑える。
• 理論的分析により、Acc-DADMが条件数に依存しない反復複雑度を達成することが示され、先行研究を上回る。

実験結果

リサーチクエスチョン

• RQ1 データ並列性を自然にサポートしつつ、理論的収束保証を維持できる新たなデュアル定式化を設計できるか？
• RQ2 単一マシン用のProximal SDCAにおける加速技術を、分散型デュアル座標設定に一般化できるか？
• RQ3 提案された加速された分散型デュアル法の理論的反復複雑度は、既存手法と比較してどのように異なるか？
• RQ4 提案フレームワークは、最先端の分散型デュアル座標アルゴリズムと比較して、実際の収束速度と通信コストの両面で優れているか？
• RQ5 L2-L1正則化のような複雑な正則化を、分散環境でも効率的に処理できるか？

主な発見

• 提案されたAcc-DADMアルゴリズムは、従来手法とは異なり、条件数に依存しない速い収束速度を達成し、反復複雑度がその影響を受けない。
• 実験結果から、すべてのテストデータセット（covtype, rcv1, HIGGS, kdd2010）において、双対ギャップが1e−3に達するまでの通信回数が顕著に削減された。
• HIGGSデータセットでは、32台のマシンにスケーリングした際、CoCoA+と比較して通信コストを最大50％まで削減した。
• 精度到達までの時間の結果から、特にkdd2010のような大規模データセットにおいて、Acc-DADMは通信効率の面でCoCoA+を上回った。
• 正規化された双対ギャッププロットから、すべての4つのデータセットでλおよびsp（ミニバッチサイズ）の各値に対して、Acc-DADMがCoCoA+よりも速く収束することが確認された。
• このフレームワークは、ProxSDCAを分散環境に一般化し、L2-L1正則化を効率的に処理しながら、理論的収束保証を維持した。