[論文レビュー] Optimal Gradient Sliding and its Application to Distributed Optimization Under Similarity

Dmitry Kovalev, Aleksandr Beznosikov+3 more|arXiv (Cornell University)|May 30, 2022

Stochastic Gradient Optimization Techniques被引用数 5

ひとこと要約

本稿では、滑らかで可能非凸な関数 $ p $ と滑らかで凸な関数 $ q $ の和として表される構造的凸最適化問題に対して、最適な勾配スライディング手法を提案する。$ p $ の勾配計算を飛ばしながらも最適収束速度を維持することで、$ p $ と $ q $ に対してそれぞれ $ \mathcal{O}(\sqrt{L_p/\mu}) $ および $ \mathcal{O}(\sqrt{L_q/\mu}) $ の勾配呼び出し回数を達成する。これは古典的な $ \mathcal{O}(\sqrt{(L_p+L_q)/\mu}) $ よりも鋭い結果である。本手法は関数類似性を前提とした分散最適化に応用され、初めて最適な通信量および局所計算複雑度を達成する。

ABSTRACT

We study structured convex optimization problems, with additive objective $r:=p + q$, where $r$ is ($μ$-strongly) convex, $q$ is $L_q$-smooth and convex, and $p$ is $L_p$-smooth, possibly nonconvex. For such a class of problems, we proposed an inexact accelerated gradient sliding method that can skip the gradient computation for one of these components while still achieving optimal complexity of gradient calls of $p$ and $q$, that is, $\mathcal{O}(\sqrt{L_p/μ})$ and $\mathcal{O}(\sqrt{L_q/μ})$, respectively. This result is much sharper than the classic black-box complexity $\mathcal{O}(\sqrt{(L_p+L_q)/μ})$, especially when the difference between $L_q$ and $L_q$ is large. We then apply the proposed method to solve distributed optimization problems over master-worker architectures, under agents' function similarity, due to statistical data similarity or otherwise. The distributed algorithm achieves for the first time lower complexity bounds on {\it both} communication and local gradient calls, with the former having being a long-standing open problem. Finally the method is extended to distributed saddle-problems (under function similarity) by means of solving a class of variational inequalities, achieving lower communication and computation complexity bounds.

研究の動機と目的

• 既存の分散最適化手法が同時に最適な通信量と局所勾配複雑度を達成できない非効率性に対処すること。
• （例：$ p $ のような高コストな勾配計算を飛ばしながらも最適収束速度を保つ）一階法を設計すること。
• 統計的データ類似性や共有ヘッセ構造に起因する関数類似性を活用し、通信オーバーヘッドを低減すること。
• 類似性下での分散最適化における理論的下限と達成可能な複雑度のギャップを埋めること。
• 単調作用素を伴う変分不等式ソルバーを用いて、分散サドルポイント問題へと本手法を拡張し、複雑度の下限を改善すること。

提案手法

• 分散問題を $ \min_x r(x) = q(x) + p(x) $ として再定式化し、$ q $ を凸かつ滑らか（例：マスターサイド計算）とし、$ p $ を非凸だが滑らか（例：通信を要する）とする。
• 勾配評価を $ p $ に対して飛ばす不正確な加速勾配スライディング法を導入し、通信コストを削減しながらも最適収束を維持する。
• モーメンタムに基づく更新と適応的ステップサイズ、および双対平均化に類似した構造を用いて、$ p $ と $ q $ の進捗をバランスさせる。
• エージェント間でのヘッセ行列の類似性（すなわち、$ \|\nabla^2 f_i(x) - \nabla^2 f_j(x)\| \leq \delta $）を活用し、よりタイトな複雑度上限を導出する。
• 単調作用素を伴う変分不等式問題に還元することで、本手法を分散サドルポイント問題に応用する。
• リャプノフ関数解析を用いて収束を確立し、プライマル・デュアルギャップに対して $ \mathcal{O}(1/K) $ の収束速度を証明する。

実験結果

リサーチクエスチョン

• RQ1 滑らかさと凸性が異なる成分を含む合成目的関数において、各成分の複雑度を別々に最適化できる勾配スライディングは可能か？
• RQ2 関数類似性が存在する場合、通信複雑度を $ \widetilde{\mathcal{O}}(\sqrt{\delta/\mu}) $ よりも下回ることは可能か？
• RQ3 類似性下の分散設定において、最適な通信量と局所勾配複雑度の両方を達成することは可能か？
• RQ4 提案手法を、複雑度下限を改善した分散サドルポイント問題へ拡張可能か？
• RQ5 関数類似性下での分散最適化における通信および計算効率の理論的限界は何か？

主な発見

• 提案手法は、$ p $ と $ q $ に対してそれぞれ $ \mathcal{O}(\sqrt{L_p/\mu}) $ および $ \mathcal{O}(\sqrt{L_q/\mu}) $ の勾配呼び出し回数を達成し、古典的ブラックボックス複雑度 $ \mathcal{O}(\sqrt{(L_p+L_q)/\mu}) $ よりも厳密に優れている。
• 関数類似性下の分散最適化において、本手法は通信複雑度の既知の下限を初めて達成し、対数要因を除いて既知の下限と一致する。
• 局所勾配呼び出し回数を $ \mathcal{O}(\sqrt{\kappa}) $ に削減し、従来の手法が劣最適であった計算の最適性を達成する。
• 変分不等式ソルバーを用いて、分散サドルポイント問題へと本手法を拡張し、最適な通信および計算複雑度を達成する。
• 数値実験により理論的利点が確認され、類似性下で収束が速く、通信量も削減される。
• 本手法は、関数類似性下の分散設定において、同時に最適な通信量と計算複雑度を達成するという新しいベンチマークを確立する。