[論文レビュー] Distributed Optimization Based on Gradient-tracking Revisited: Enhancing Convergence Rate via Surrogation

Ying Sun, Amir Daneshmand+1 more|arXiv (Cornell University)|May 7, 2019

Distributed Control Multi-Agent Systems被引用数 4

ひとこと要約

本稿では、標準的な一次元手法の代わりに高次 surrogate 関数を用いることで、多エージェントシステムにおける収束速度を向上させる、新しい分散最適化アルゴリズム Surrogate-SONATA を提案する。勾配追跡と摂動付きプッシュ和コンSENSUSを用い、エージェントの局所的損失関数の統計的類似性を活用することで、ヘッセ行列の交換を必要とせずに、条件数およびネットワーク接続性に改善された依存関係を有する線形収束を達成する。従来の手法を上回る性能を発揮する。

ABSTRACT

We study distributed multiagent optimization over (directed, time-varying) graphs. We consider the minimization of $F+G$ subject to convex constraints, where $F$ is the smooth strongly convex sum of the agent's losses and $G$ is a nonsmooth convex function. We build on the SONATA algorithm: the algorithm employs the use of surrogate objective functions in the agents' subproblems (going thus beyond linearization, such as proximal-gradient) coupled with a perturbed (push-sum) consensus mechanism that aims to track locally the gradient of $F$. SONATA achieves precision $ε>0$ on the objective value in $\mathcal{O}(κ_g \log(1/ε))$ gradient computations at each node and $ ilde{\mathcal{O}}\big(κ_g (1-ρ)^{-1/2} \log(1/ε)\big)$ communication steps, where $κ_g$ is the condition number of $F$ and $ρ$ characterizes the connectivity of the network. This is the first linear rate result for distributed composite optimization; it also improves on existing (non-accelerated) schemes just minimizing $F$, whose rate depends on much larger quantities than $κ_g$ (e.g., the worst-case condition number among the agents). When considering in particular empirical risk minimization problems with statistically similar data across the agents, SONATA employing high-order surrogates achieves precision $ε>0$ in $\mathcal{O}\big((β/μ) \log(1/ε)\big)$ iterations and $ ilde{\mathcal{O}}\big((β/μ) (1-ρ)^{-1/2} \log(1/ε)\big)$ communication steps, where $β$ measures the degree of similarity of the agents' losses and $μ$ is the strong convexity constant of $F$. Therefore, when $β/μ< κ_g$, the use of high-order surrogates yields provably faster rates than what achievable by first-order models; this is without exchanging any Hessian matrix over the network.

研究の動機と目的

• 時変で有向な通信グラフを持つ多エージェントシステム向けに、通信効率の高い分散最適化アルゴリズムを設計するという課題に取り組む。
• 滑らかで強く凸な関数の和と、非滑らかで凸な正則化項の和を最小化する分散複合最適化において、既存の一次元手法を超える収束速度を向上させること。
• エージェントの局所的損失関数の間の統計的類似性（例：i.i.d. データ設定）を活用し、ヘッセ行列の交換なしに高速な収束を達成すること。
• 勾配追跡に基づくアルゴリズムを設計し、ネットワーク接続性および問題の条件数に改善された依存関係を有する線形収束を達成すること。

提案手法

• エージェントのサブプロブレムにおいて、標準的な線形化（例：プロキシマル・グレディエント）の代わりに surrogate 関数を用いることで、局所的損失関数の高次近似を可能にする。
• 滑らかな成分 $ F $ のグローバル勾配を正確に推定できるように、摂動付きプッシュ和コンセンサス機構を用いてグローバル勾配を追跡する。
• 局所的損失関数の類似性を定量化する測度 $ \beta $、$ F $ の条件数 $ \kappa_g $、強凸定数 $ \mu $ を用いて収束速度を評価する、新しい分析フレームワークを導入する。
• ステップサイズ $ \alpha $、ネットワーク接続性 $ \rho $、surrogate 近似の精度を巧みにバランスさせることで線形収束を達成し、類似データ環境下では収束速度が $ \beta/\mu $ に依存する。
• 有向かつ時変なグラフを想定した設計となっており、ネットワークのダイナミクスに対してもロバストでありながら、収束保証を維持する。
• 理論的分析により、一般ケースでは $ \mathcal{O}(\kappa_g \log(1/\epsilon)) $ 回の勾配計算と $ \tilde{\mathcal{O}}(\kappa_g (1-\rho)^{-1/2} \log(1/\epsilon)) $ 回の通信ステップで収束が保証され、$ \beta/\mu < \kappa_g $ の場合にさらに改善されたレートが得られる。

実験結果

リサーチクエスチョン

• RQ1 分散最適化における surrogate 関数は、ヘッセ行列の送信なしに、一次元手法を上回る収束速度を実現できるか？
• RQ2 エージェントの局所的損失関数の間の統計的類似性は、分散最適化アルゴリズムの収束速度にどのように影響するか？
• RQ3 摂動付きプッシュ和コンセンサスを用いた勾配追跡は、有向かつ時変なネットワークにおいて、複合最適化問題に対して線形収束を達成できるか？
• RQ4 収束速度は、条件数 $ \kappa_g $、ネットワーク接続性 $ \rho $、損失類似度 $ \beta $ にどのように依存するか？
• RQ5 $ \beta/\mu < \kappa_g $ の場合、ヘッセ行列の交換なしに一次元手法よりも速い収束が達成可能か？

主な発見

• 提案された Surrogate-SONATA アルゴリズムは、一般設定下で $ \mathcal{O}(\kappa_g \log(1/\epsilon)) $ 回の勾配計算と $ \tilde{\mathcal{O}}(\kappa_g (1-\rho)^{-1/2} \log(1/\epsilon)) $ 回の通信ステップで線形収束を達成する。
• 統計的に類似したデータを用いた経験的リスク最小化では、$ \mathcal{O}((\beta/\mu) \log(1/\epsilon)) $ 回の反復と $ \tilde{\mathcal{O}}((\beta/\mu)(1-\rho)^{-1/2} \log(1/\epsilon)) $ 回の通信ステップで収束する。
• $ \beta/\mu < \kappa_g $ の場合、高次 surrogate を用いることで、ヘッセ行列の交換なしに一次元手法を上回る明確な高速収束が保証される。
• 収束速度は $ z \leq 1 - c(1-\sqrt{c})^2 \cdot \text{const} \cdot (1-\rho)^2 / (\kappa_g^2 \rho) $ で有界であり、ネットワーク接続性 $ \rho $ への依存性が改善されていることが示される。
• 本アルゴリズムは、最悪のエージェントの条件数に依存しない唯一の線形収束を達成する分散複合最適化のための最初の手法である。
• 理論的分析により、摂動付きプッシュ和メカニズムおよび surrogate 近似誤差の精密な解析を通じて、有向かつ時変なグラフ下でも線形収束が保証されることを確認した。