[論文レビュー] On the Convergence of Nested Decentralized Gradient Methods with Multiple Consensus and Gradient Steps

Albert S. Berahas, Raghu Bollapragada+1 more|arXiv (Cornell University)|May 31, 2020

Distributed Control Multi-Agent Systems参考文献 67被引用数 13

ひとこと要約

本稿では、分散最適化における反復毎に複数の勾配ステップと一致ステップを許容するように、NEAR-DGDアルゴリズムを一般化する。固定ステップサイズのもとで勾配ステップ数を減少させ、一致ステップ数を増加させることで、正確な解へのR線形収束を証明し、フェデレーテッドラーニングにおけるマルチローカルステップ法の理論的裏付けを提供するとともに、コストに配慮したアルゴリズム設計を可能にする。

ABSTRACT

In this paper, we consider minimizing a sum of local convex objective functions in a distributed setting, where the cost of communication and/or computation can be expensive. We extend and generalize the analysis for a class of nested gradient-based distributed algorithms (NEAR-DGD; Berahas, Bollapragada, Keskar and Wei, 2018) to account for multiple gradient steps at every iteration. We show the effect of performing multiple gradient steps on the rate of convergence and on the size of the neighborhood of convergence, and prove R-Linear convergence to the exact solution with a fixed number of gradient steps and increasing number of consensus steps. We test the performance of the generalized method on quadratic functions and show the effect of multiple consensus and gradient steps in terms of iterations, number of gradient evaluations, number of communications and cost.

研究の動機と目的

• 反復毎に複数の勾配ステップを実行する分散アルゴリズムの収束解析におけるギャップを埋める。
• 分散最適化における収束速度、近隣サイズ、通信/計算コストのトレードオフを調査する。
• フェデレーテッドラーニングで広く用いられる複数ローカル勾配ステップの背後にある理論的根拠を提供する。
• アプリケーション固有のコスト構造に基づいて、一致ステップと勾配ステップを動的に調整可能な柔軟なフレームワークを構築する。
• 固定ステップサイズと動的ステップ数のもとで、正確な解へのR線形収束が達成される条件を確立する。

提案手法

• 反復毎にtc(k)回の一致ステップとtg(k)回の勾配ステップを実行する一般化されたネスト型アルゴリズムNEAR-DGDtc,tgを提案する。
• ネットワーク全体の局所変数間の一致を強制するために、一致演算子W⊗Ipを用いる。
• 局所勾配を用いて局所変数を更新するため、勾配演算子T[x] = x − α∇f(x)を採用する。
• 一致ステップ数を時間とともに増加させ、勾配ステップ数を減少させるフレームワークを導入し、正確な収束を可能にする。
• リャプノフ関数を用いた収束解析を行い、一致行列Wの2番目に大きな固有値βの上限を評価する。
• 強い凸性と固定ステップサイズのもとで、アルゴリズムが正確な解へのR線形収束を達成する条件を導出する。

実験結果

リサーチクエスチョン

• RQ1 反復毎に複数の勾配ステップを実行することは、分散勾配法における収束速度と近隣サイズにどのように影響するか？
• RQ2 複数の勾配ステップを用いる場合に、固定ステップサイズのもとで正確な解へのR線形収束を達成できるか？
• RQ3 一致ステップ数と勾配ステップ数を変化させた場合、最適化コスト（反復回数、通信回数、勾配評価回数）にどのような影響を与えるか？
• RQ4 アルゴリズムが正確な解に収束するのではなく、解の近傍に収束する条件は何か？
• RQ5 実際の応用において、計算が高コストか通信が高コストかに応じて、アルゴリズムをどのように調整できるか？

主な発見

• 勾配ステップ数を時間とともに減少させ、一致ステップ数を増加させることで、正確な解へのR線形収束が達成される。
• 複数の勾配ステップは初期の収束速度を顕著に向上させる。二次的問題における実験的評価でもその有効性が裏付けられている。
• 固定された一致ステップ数を用いる手法は解の近傍に収束するが、一致ステップ数を増加させることで正確な収束が可能になる。
• 実用的バージョンであるNEAR-DGD+((1,−),(1,k))は、勾配計算が高コストな場合（例：cg = 100, cc = 1）に最も優れた性能を示し、標準DGDと比較してコストを最大100倍まで削減できる。
• 通信コストが高い場合（cc = 100, cg = 1）には、標準DGDおよびNEAR-DGD((1,−),(1,−))手法が、複数勾配ステップを用いる変種を上回る性能を示す。
• 理論的解析により、勾配ステップ数が1より大きい固定値である限り、正確な収束は達成不可能であることが確認され、最近のフェデレーテッドラーニングの知見とも整合する。