[論文レビュー] Bias-Variance Reduced Local SGD for Less Heterogeneous Federated Learning

Tomoya Murata, Taiji Suzuki|arXiv (Cornell University)|Feb 5, 2021

Stochastic Gradient Optimization Techniques参考文献 34被引用数 13

ひとこと要約

本稿では、非凸フェデレーテッドラーニングにおける新たな局所最適化手法であるバイアス・バリアンス低減局所SGD（BVR-L-SGD）を提案する。この手法は、局所的目的関数における小さな2次的非同一性を活用することで、勾配推定におけるバイアスとバリアンスを低減する。小さな非同一性と大きな局所計算予算下で、通信複雑度が $\epsilon^{-1}$ の壁を破り、非局所的手法および先行の局所的手法を理論的・実験的に上回る性能を達成する。

ABSTRACT

Recently, local SGD has got much attention and been extensively studied in the distributed learning community to overcome the communication bottleneck problem. However, the superiority of local SGD to minibatch SGD only holds in quite limited situations. In this paper, we study a new local algorithm called Bias-Variance Reduced Local SGD (BVR-L-SGD) for nonconvex distributed optimization. Algorithmically, our proposed bias and variance reduced local gradient estimator fully utilizes small second-order heterogeneity of local objectives and suggests randomly picking up one of the local models instead of taking the average of them when workers are synchronized. Theoretically, under small heterogeneity of local objectives, we show that BVR-L-SGD achieves better communication complexity than both the previous non-local and local methods under mild conditions, and particularly BVR-L-SGD is the first method that breaks the barrier of communication complexity $Θ(1/\varepsilon)$ for general nonconvex smooth objectives when the heterogeneity is small and the local computation budget is large. Numerical results are given to verify the theoretical findings and give empirical evidence of the superiority of our method.

研究の動機と目的

• 局所最適化手法の効率を向上させることで、フェデレーテッドラーニングにおける通信ボトルネックを緩和すること。
• 高いデータ非同一性下で性能が低下する既存の局所SGD手法の理論的・実験的限界を克服すること。
• 局所的目的関数に小さな2次的非同一性が存在する場合でも、低い通信複雑度を維持できる手法を開発すること。
• 公平な比較（1回の通信ラウンドあたりの総局所計算量を固定）のもとで、局所手法が非局所手法を上回ることを理論的・実験的に示すこと。
• やや厳しい条件のもとで、非凸問題における通信複雑度の新たな境界を $\Theta(1/\varepsilon)$ 未満に確立すること。

提案手法

• 局所的目的関数における小さな2次的非同一性を活用した、バイアスおよびバリアンス低減型の局所勾配推定器を提案する。
• 従来の局所モデルの平均化とは異なり、グローバル集約のために局所モデルからランダムに1つを選択する、新たな同期戦略を導入する。
• 局所的目的関数における小さな1次および2次的非同一性を仮定したもとで、理論的通信複雑度の境界を導出する。
• 一般の非凸滑らか関数に対する収束性を分析し、非同一性が小さくかつ局所計算量が大きい場合に通信効率が向上することを示す。
• さまざまな非同一性と計算予算を想定した画像分類タスクにおいて、手法の実験的妥当性を検証する。
• 1回の通信ラウンドあたりの総局所勾配計算量を各手法で固定する公平な比較フレームワークを用いる。

実験結果

リサーチクエスチョン

• RQ1 小さなデータ非同一性下で、非凸フェデレーテッドラーニングにおいて局所SGDの変種が非局所手法を上回る通信複雑度を達成できるか？
• RQ2 提案されたバイアスおよびバリアンス低減型勾配推定器は、局所的目的関数に小さな2次的非同一性が存在する場合に、収束性の向上を実現できるか？
• RQ3 同期時に局所モデルをランダムに選択する戦略は、平均化よりも通信コストの低減に有効か？
• RQ4 やや厳しい条件下で、非凸問題における局所手法の通信複雑度を $\Theta(1/\varepsilon)$ 未満に改善できるか？
• RQ5 さまざまなデータ非同一性レベルおよび計算予算下で、BVR-L-SGDの性能はSCAFFOLD、FedAvg、および非局所手法と比べてどのように異なるか？

主な発見

• 局所的目的関数の非同一性が小さく、かつ局所計算予算が大きい場合、BVR-L-SGDは非凸滑らか関数に対して通信複雑度が $\Theta(1/\varepsilon)$ 未満であることを達成し、既存手法の知られていた壁を破る。
• 実験的結果から、BVR-L-SGDは全テスト非同一性レベルでSCAFFOLD、L-SGD、FedAvgを一貫して上回り、非同一性が増大しても性能の劣化が最小限に抑えられる。
• 固定された局所計算予算 $\mathcal{B} = 1,024$ の下で、BVR-L-SGDは最高のテスト精度と最小の訓練損失を達成し、非同一性が最大（$q = 0.5$）であっても他の局所手法と比べて著しく劣化しない。
• 局所計算予算 $\mathcal{B}$ が増加するにつれ、BVR-L-SGDの性能は向上するが、非局所手法は変化せず、これによりBVR-L-SGDがより大きな局所計算を効果的に活用できることを確認する。
• BVR-L-SGDは最初の通信ラウンドから優れた収束性を維持し、全設定で他のベースラインと比較して一貫して訓練損失が低く、テスト精度が優れている。
• 理論的分析により、BVR-L-SGDの通信複雑度が、やや厳しい条件下で、特に2次的非同一性が小さい場合、従来の非局所および局所手法を厳密に上回ることを確認した。