[論文レビュー] Optimal algorithms for smooth and strongly convex distributed optimization in networks

Kevin G. Seaman, Francis Bach+3 more|arXiv (Cornell University)|Feb 28, 2017

Distributed Control Multi-Agent Systems参考文献 24被引用数 189

ひとこと要約

この論文は、滑らかで強凸な分散最適化における中央集権型および分散型ネットワークでの最適な収束速度を導出し、SSDAとMSDAをこれらの界と一致する最適手法として導入する。

ABSTRACT

In this paper, we determine the optimal convergence rates for strongly convex and smooth distributed optimization in two settings: centralized and decentralized communications over a network. For centralized (i.e. master/slave) algorithms, we show that distributing Nesterov's accelerated gradient descent is optimal and achieves a precision $\varepsilon > 0$ in time $O(\sqrt{κ_g}(1+Δτ)\ln(1/\varepsilon))$, where $κ_g$ is the condition number of the (global) function to optimize, $Δ$ is the diameter of the network, and $τ$ (resp. $1$) is the time needed to communicate values between two neighbors (resp. perform local computations). For decentralized algorithms based on gossip, we provide the first optimal algorithm, called the multi-step dual accelerated (MSDA) method, that achieves a precision $\varepsilon > 0$ in time $O(\sqrt{κ_l}(1+\fracτ{\sqrtγ})\ln(1/\varepsilon))$, where $κ_l$ is the condition number of the local functions and $γ$ is the (normalized) eigengap of the gossip matrix used for communication between nodes. We then verify the efficiency of MSDA against state-of-the-art methods for two problems: least-squares regression and classification by logistic regression.

研究の動機と目的

• 中央集権型および分散型ネットワークにおける滑らかで強凸な目的関数を持つ分散最適化の基本的かつ最適な収束速度を決定する。
• これらの最適な速度を達成するアルゴリズムを提案する：中央集権系にはNesterov加速の分散化を適用し、分散型設定には双対加速法を導入する。
• ネットワーク特性（直径 Δ、固有ギャップ γ） が複雑さの境界に与える影響を分析し、最先端の手法と比較する。
• 提案手法を最小二乗回帰とロジスティック回帰で検証し、実用的な効率を示す。

提案手法

• 中央集権的問題では、Nesterovの加速勾配法を分散化して、収束速度 O(sqrt(kappa_g) (1+Δτ) ln(1/ε)) を達成する。
• 分散問題では双対問題を定式化し、SSDA（単一ステップの双対加速法）を導出して O(sqrt(kappa_l) (1+τ/√γ) ln(1/ε)) を達成する。ここで γ はグッジィの正規化固有ギャップである。
• グッジィステップにチェビシェフ加速を適用してMSDA（多段階双対加速法）を導入し、同じオーダー O(sqrt(kappa_l) (1+τ/√γ) ln(1/ε)) を得る。
• Theta√W=0 という等式制約を持つ変数上の最小化として双対定式化を使用し、雙対上で加速勾配法により解く。
• チェビシェフ多項式加速 P_K(W) を適用して効果的なグッジィ演算子を改善し、γ に対する最適依存性を K ≈ ⌊1/√γ⌋ で達成する。
• 複合関数、ウェームスタート、非同期変種などの拡張を議論する。

実験結果

リサーチクエスチョン

• RQ1 滑らかで強凸な目的を持つ中央集権型および分散型分散最適化に対する最適なオラクル複合性の下界は何か？
• RQ2 これらの下界は中央集権型および分散型の実用的アルゴリズムによって達成可能か？
• RQ3 ネットワークの直径 Δ およびグッジィ固有ギャップ γ は収束速度の境界にどのように影響するか？
• RQ4 実用的な問題（最小二乗法、ロジスティック回帰）における SSDA と MSDA の性能は、既存手法（D-ADMM、EXTRA、DIGing）と比較してどうか？

主な発見

• 中央集権的なマスター/スレーブ最適化では、Nesterovの加速勾配法を分散化することで、最適な速度を O(sqrt(kappa_g) (1+Δτ) ln(1/ε)) で達成する。
• 分散型（ゴシップベース）最適化では、MSDA法が最適な速度 O(sqrt(kappa_l) (1+τ/√γ) ln(1/ε)) を達成する。
• 下界は、黒箱手続きのいかなる場合でも、kappa_g, Δ, τ（中央集権型）および kappa_l, γ, τ（分散型）という形で少なくともこれらのオーダーの複雑性を要求することを示している。
• SSDA は、(1+τ) sqrt(kappa_l/γ) ln(1/ε) の精度時間を持つ、単純な双対加速アプローチを提供する。
• MSDA はチェビシェフ加速によるグッジィステップの改善により、通信コストが安い場合に同じオーダーを、より実用的な効率で達成する。O(sqrt(kappa_l) (1+τ/√γ) ln(1/ε))。
• 最小二乗法およびロジスティック回帰に関する実験結果は、DAGD が中央集権型手法の中で最良、MSDA が分散型競合手法の中で最も強力で、さまざまな設定で D-ADMM、EXTRA、DIGing を上回ることを示した。