[論文レビュー] Acceleration in Distributed Optimization under Similarity

Ye Tian, Gesualdo Scutari+2 more|arXiv (Cornell University)|Oct 24, 2021

Stochastic Gradient Optimization Techniques参考文献 21被引用数 9

ひとこと要約

本稿では、類似した局所的損失関数を持つエージェントのネットワーク向けに、前処理を施した高速化された分散最適化アルゴリズムを提案する。関数の類似性をヘッセ行列に基づく前処理によって活用することで、通信複雑度が $\tilde{\mathcal{O}}\left(\sqrt{\frac{\beta/\mu}{1-\rho}}\log \frac{1}{\varepsilon}\right)$ に抑えられ、対数要因を除いて下界に一致し、特に悪条件問題において、従来の高速化手法に比べて顕著に通信コストを削減する。

ABSTRACT

We study distributed (strongly convex) optimization problems over a network of agents, with no centralized nodes. The loss functions of the agents are assumed to be extit{similar}, due to statistical data similarity or otherwise. In order to reduce the number of communications to reach a solution accuracy, we proposed a {\it preconditioned, accelerated} distributed method. An $\varepsilon$-solution is achieved in $ ilde{\mathcal{O}}\big(\sqrt{\frac{β/μ}{1-ρ}}\log1/\varepsilon\big)$ number of communications steps, where $β/μ$ is the relative condition number between the global and local loss functions, and $ρ$ characterizes the connectivity of the network. This rate matches (up to poly-log factors) lower complexity communication bounds of distributed gossip-algorithms applied to the class of problems of interest. Numerical results show significant communication savings with respect to existing accelerated distributed schemes, especially when solving ill-conditioned problems.

研究の動機と目的

• 分散最適化における高い通信コスト、特に条件数 $\kappa$ が大きい悪条件問題における課題を解決すること。
• 中央集権的高速化アルゴリズム（$\tilde{\mathcal{O}}(1 + \sqrt{\beta/\mu})$ ステップを達成）と分散メッシュネットワークとの間のギャップを埋めること、ここではこのようなレートが未証明であった。
• 関数の類似性のもとで通信複雑度の理論的下界に一致する分散的・前処理付き・高速化されたアルゴリズムを設計すること。
• 通信複雑度が $\tilde{\mathcal{O}}\left(\sqrt{\frac{\beta/\mu}{1-\rho}}\log \frac{1}{\varepsilon}\right)$ にスケーリングする線形収束を達成すること。ここで $\beta/\mu$ は相対的類似度を測る指標であり、$\rho$ はネットワークの接続性を表す。

提案手法

• Inexact ACC-SONATA-F を提案。これは、SONATAフレームワークの不正確な変種を加速および前処理を組み合わせた分散アルゴリズムである。
• 局所ヘッセ行列とグローバルヘッセ行列とのずれを表す $\beta$ を用いて、更新ステップを調整する相対的条件数 $\beta/\mu$ に基づく前処理器を採用する。
• 二重ループ構造を採用：外側のループはグローバルな加速を、内側のループは不正確な勾配を用いた部分問題の解法を実行。終了基準により制御される。
• 進捗を追跡し収束を保証するためのリャプノフ関数 $g^k + e^k$ を導入。反復回数に伴う誤差の減衰を境界化する。
• 滑らか化不等式と誤差項の幾何的減少を活用し、ネットワーク接続性 $\rho$ と類似度 $\beta/\mu$ を用いて通信複雑度の上限を導出。
• 内側ループの終了条件 $g^{k,T} + e^{k,T} \leq \epsilon^{k+1}$ が $\mathcal{O}(\log \frac{\beta}{\mu})$ ステップで満たされることを確立し、全体の効率性を保証する。

実験結果

リサーチクエスチョン

• RQ1 メッシュネットワーク上での分散アルゴリズムが、$\tilde{\mathcal{O}}(1 + \sqrt{\beta/\mu})$ の通信複雑度スケーリングを達成できるか？ これは、最良の中央集権的高速化手法に一致する。
• RQ2 ヘッセ行列のずれ $\beta$ で測る関数の類似性を活用することで、悪条件問題における通信コストの顕著な削減が可能か？
• RQ3 分散的・分散型の設定において、前処理と加速を組み合わせることで、通信複雑度の下界に一致する性能を達成できるか？
• RQ4 関数の類似性が存在する状況で、ネットワーク接続性 $\rho$ は収束速度にどのように影響するか？

主な発見

• 提案手法は、$\tilde{\mathcal{O}}\left(\sqrt{\frac{\beta/\mu}{1-\rho}}\log \frac{1}{\varepsilon}\right)$ の通信複雑度を達成し、分散ガスープアルゴリズムの既知の下界に、対数要因を除いて一致する。
• 通信複雑度は $\sqrt{\kappa}$ ではなく $\sqrt{\beta/\mu}$ に依存するため、$\kappa$ が大きくても $\beta/\mu$ が小さい悪条件問題では顕著な通信コスト削減が可能である。
• 数値実験により、既存の高速化分散手法に比べて顕著な通信コスト削減が確認され、特に $\beta/\mu \ll \kappa$ の場合に顕著である。
• アルゴリズムの内側ループは $\mathcal{O}(\log \frac{\beta}{\mu})$ ステップで終了し、全体のアルゴリズムが通信効率的であることを保証する。
• i.i.d. データを前提とする分散ERM問題へも適用可能であり、$\beta = \tilde{O}(1/\sqrt{n})$ w.h.p. となるため、$\beta/\mu = \mathcal{O}(\sqrt{m})$ となり、拡張性が向上する。
• ネットワーク接続性 $\rho$ に対して収束速度が頑健であり、境界が $1/(1 - \rho)$ に比例する。これはネットワークトポロジーが通信効率に与える影響を反映している。