[論文レビュー] A Primal-Dual SGD Algorithm for Distributed Nonconvex Optimization

Xinlei Yi, Shengjun Zhang+3 more|arXiv (Cornell University)|Jun 4, 2020

Stochastic Gradient Optimization Techniques被引用数 9

ひとこと要約

本稿では、任意の接続構成を持つネットワーク上で非凸最適化を実行するための分散型プライマルデュアル確率的勾配降下法（SGD）アルゴリズムを提案する。局所的な情報交換と確率的勾配を利用する。一般の非凸関数に対しては収束速度が $\mathcal{O}(1/\sqrt{nT})$、Polyak–Łojasiewicz 条件を満たす場合には $\mathcal{O}(1/(nT))$ の線形スケーリング速度を達成し、定数パラメータを用いることでグローバル最適解の近傍への線形収束を実現する。

ABSTRACT

The distributed nonconvex optimization problem of minimizing a global cost function formed by a sum of $n$ local cost functions by using local information exchange is considered. This problem is an important component of many machine learning techniques with data parallelism, such as deep learning and federated learning. We propose a distributed primal--dual stochastic gradient descent (SGD) algorithm, suitable for arbitrarily connected communication networks and any smooth (possibly nonconvex) cost functions. We show that the proposed algorithm achieves the linear speedup convergence rate $\mathcal{O}(1/\sqrt{nT})$ for general nonconvex cost functions and the linear speedup convergence rate $\mathcal{O}(1/(nT))$ when the global cost function satisfies the Polyak--Łojasiewicz (P--Ł) condition, where $T$ is the total number of iterations. We also show that the output of the proposed algorithm with constant parameters linearly converges to a neighborhood of a global optimum. We demonstrate through numerical experiments the efficiency of our algorithm in comparison with the baseline centralized SGD and recently proposed distributed SGD algorithms.

研究の動機と目的

• 機械学習の分散型非凸最適化、特にデータがエージェント間で分割され、通信が制限される状況（フェデレーテッドラーニングやディープラーニングなど）を扱う。
• スターベースのマスターワーカー構成に起因するボトルネックを回避するため、任意の接続構成を持つ通信ネットワーク上で動作する分散型 SGD アルゴリズムを開発する。
• 一般の非凸関数および Polyak–Łojasiewicz（P–Ł）条件を満たす関数の両方に対して、線形スケーリング速度を有する収束保証を確立する。
• 従来の分散型 SGD 法で一般的に仮定されている勾配の有界性などの制限的な仮定を排除する。

提案手法

• アルゴリズムは、無向通信グラフ上でエージェントを統合的に制御するためのプライマルデュアル定式化を採用し、各エージェントがプライマル変数およびデュアル変数の局所的推定値を維持する。
• 各エージェントは自身の局所的コスト関数の確率的勾配を計算し、共通の更新則に従って隣接エージェントと情報を交換する。
• 収束解析にはリャプノフ関数を導入し、プライマル誤差とデュアル誤差の両方を組み合わせて最適性への進行を追跡する。
• ステップサイズスケジュールと定数パラメータを用いることで、グローバル最適解の近傍への線形収束を実現する。
• P–Ł 条件を組み込むことで、より弱い仮定のもとで改善された収束レートを導出する。
• 通信効率が高く、任意のネットワークトポロジーにスケーラブルに適合するように設計されている。

実験結果

リサーチクエスチョン

• RQ1 制限的な勾配の有界性や勾配差分の仮定が不要な分散型プライマルデュアル SGD アルゴリズムは、非凸最適化において線形スケーリング速度の収束を達成できるか？
• RQ2 定数ステップサイズを用いた場合、グローバル最適解の近傍への線形収束を維持できるか？
• RQ3 分散環境下で Polyak–Łojasiewicz 条件を満たす場合、収束速度を $\mathcal{O}(1/(nT))$ まで向上できるか？
• RQ4 収束速度とロバスト性の観点から、中央集権型 SGD や他の分散型 SGD アルゴリズムと比較して、本手法はどのように性能を発揮するか？

主な発見

• 提案手法は、一般の非凸コスト関数に対して $\mathcal{O}(1/\sqrt{nT})$ の線形スケーリング速度を達成し、中央集権型 SGD の最良レートと同等である。
• Polyak–Łojasiewicz（P–Ł）条件を満たす場合、収束速度は $\mathcal{O}(1/(nT))$ に向上し、$n$ および $T$ に対してより速い収束を示す。
• 定数パラメータを用いることで、グローバル最適解の近傍への線形収束を達成し、標準的な SGD の部分線形収束と比べて顕著な改善を示す。
• 数値実験により、ベースラインの中央集権型 SGD や最近の分散型 SGD 手法と比較して、収束速度と安定性の両面で本手法の優位性が確認された。
• 理論的解析は最小限の仮定のもとで成立する—局所的コスト関数の滑らかさを仮定するのみで、勾配の有界性制約は不要である。
• 本アルゴリズムは、スターグラフや一般の無向グラフを含む、任意の通信ネットワークトポロジーにおいてロバストである。