[論文レビュー] Reducing the Communication Cost of Federated Learning through Multistage Optimization.

Charlie Hou, Kiran Koshy Thekumparampil+2 more|arXiv (Cornell University)|Aug 16, 2021

Privacy-Preserving Technologies in Data参考文献 28被引用数 6

ひとこと要約

本稿では、最初に局所最適化手法を適用してデータの非同一性に起因する誤差床に達するまで実行し、その後中央集権的最適化手法に切り替えることで通信コストを低減する、フェデレーテッドラーニングのためのマルチステージ最適化フレームワークを提案する。この手法は、すべてのデータ非同一性レベルで理論的な通信複雑性下限にほぼ一致し、既存の手法に対する実用的で理論的根拠のある代替手段を提供する。

ABSTRACT

A central question in federated learning (FL) is how to design optimization algorithms that minimize the communication cost of training a model over heterogeneous data distributed across many clients. A popular technique for reducing communication is the use of local steps, where clients take multiple optimization steps over local data before communicating with the server (e.g., FedAvg, SCAFFOLD). This contrasts with centralized methods, where clients take one optimization step per communication round (e.g., Minibatch SGD). A recent lower bound on the communication complexity of first-order methods shows that centralized methods are optimal over highly-heterogeneous data, whereas local methods are optimal over purely homogeneous data [Woodworth et al., 2020]. For intermediate heterogeneity levels, no algorithm is known to match the lower bound. In this paper, we propose a multistage optimization scheme that nearly matches the lower bound across all heterogeneity levels. The idea is to first run a local method up to a heterogeneity-induced error floor; next, we switch to a centralized method for the remaining steps. Our analysis may help explain empirically-successful stepsize decay methods in FL [Charles et al., 2020; Reddi et al., 2020]. We demonstrate the scheme's practical utility in image classification tasks.

研究の動機と目的

• フェデレーテッドラーニングにおける通信コストの課題に取り組むこと、特に最適な手法が知られていない中程度のデータ非同一性下での課題に焦点を当てる。
• 通信複雑性の理論的下限と実用的なフェデレーテッド最適化アルゴリズムの間のギャップを埋めること。
• 局所学習と中央集権的学習の段階を組み合わせることで、データ非同一性に適応するハイブリッド最適化戦略を設計すること。
• フェデレーテッドラーニングにおける経験的に成功したステップサイズ減少戦略の背後にある理論的根拠を提供すること。

提案手法

• 本手法は、クライアントがサーバーと通信する前に複数回の局所更新を実行する（例：FedAvgスタイルの）局所最適化段階から始める。
• 局所段階の停止基準として、固有のデータ分布の偏りに基づく非同一性に起因する誤差床を特定する。
• 誤差床に達した後、最終収束ステップのために中央集権的最適化手法（例：ミニバッチSGD）に切り替える。
• データ非同一性のため、局所更新が最適化誤差を顕著に低減しなくなった時点で、切り替えが発火する。
• 理論的分析により、この2段階アプローチが、すべての非同一性レベルで既知の通信複雑性下限にほぼ一致することが示される。
• 本フレームワークは既存のFLアルゴリズムと互換性があり、標準的なトレーニングパイプラインに適用可能である。

実験結果

リサーチクエスチョン

• RQ1 局所学習と中央集権的学習のハイブリッド戦略は、すべてのレベルのデータ非同一性において、ほぼ最適な通信複雑性を達成できるか？
• RQ2 通信コストを最小化する観点から、局所学習から中央集権的学習に切り替える最適なタイミングは何か？
• RQ3 本手法は、FedAvg や SCAFFOLD などの既存のアルゴリズムと比較して、収束性および通信効率において優れているか？
• RQ4 本多段階スキームの理論的分析は、実験的に成功したステップサイズ減少戦略の背後にある理由を説明できるか？
• RQ5 本手法は、現実的なデータ非同一性下での画像分類といった実用的タスクにおいても性能を維持できるか？

主な発見

• マルチステージ最適化手法は、均一なデータから極めて非同一性の高いデータまで、すべてのデータ非同一性レベルで理論的な通信複雑性下限にほぼ一致する。
• 中程度の非同一性レベルにおいて、標準的な局所的（例：FedAvg）および中央集権的（例：ミニバッチSGD）アプローチよりも通信効率が優れている。
• 誤差床に達した段階で局所学習から中央集権的学習に切り替えることで、収束に必要な通信ラウンド数が顕著に削減される。
• 理論的分析により、実務で観察されたステップサイズ減少戦略の有効性が裏付けられ、その成功の背後にある原理的根拠が提供される。
• 画像分類タスクにおける実験的評価により、本手法の実用的有用性および通信コストの低減が確認された。