[論文レビュー] FedShuffle: Recipes for Better Use of Local Work in Federated Learning

Samuel Horváth, Maziar Sanjabi+3 more|arXiv (Cornell University)|Apr 27, 2022

Privacy-Preserving Technologies in Data被引用数 6

ひとこと要約

FedShuffleは、ランダムリシャッフル、データ不均衡の処理、クライアントサンプリングを統合することで、局所的アップデートの利用を向上させる革新的なフェデレーテッドラーニングフレームワークを提案する。これは、現実的条件下（ランダムリシャッフル、データの非独立同分布性、クライアントの部分参加）における最初の理論的収束保証を提供する。FedAvgにおける目的関数の不一致問題を解消し、特に部分参加と非均質なデータ下でFedNova やモーメンタム付きFedAvgを上回る性能を発揮する。

ABSTRACT

The practice of applying several local updates before aggregation across clients has been empirically shown to be a successful approach to overcoming the communication bottleneck in Federated Learning (FL). Such methods are usually implemented by having clients perform one or more epochs of local training per round while randomly reshuffling their finite dataset in each epoch. Data imbalance, where clients have different numbers of local training samples, is ubiquitous in FL applications, resulting in different clients performing different numbers of local updates in each round. In this work, we propose a general recipe, FedShuffle, that better utilizes the local updates in FL, especially in this regime encompassing random reshuffling and heterogeneity. FedShuffle is the first local update method with theoretical convergence guarantees that incorporates random reshuffling, data imbalance, and client sampling - features that are essential in large-scale cross-device FL. We present a comprehensive theoretical analysis of FedShuffle and show, both theoretically and empirically, that it does not suffer from the objective function mismatch that is present in FL methods that assume homogeneous updates in heterogeneous FL setups, such as FedAvg (McMahan et al., 2017). In addition, by combining the ingredients above, FedShuffle improves upon FedNova (Wang et al., 2020), which was previously proposed to solve this mismatch. Similar to Mime (Karimireddy et al., 2020), we show that FedShuffle with momentum variance reduction (Cutkosky & Orabona, 2019) improves upon non-local methods under a Hessian similarity assumption.

研究の動機と目的

• データ不均衡によりクライアントが異なる数の局所的アップデートを実行する状況における、フェデレーテッドラーニングにおける目的関数の不一致問題を解決すること。
• ランダムリシャッフル、データの非独立同分布性、クライアントサンプリングを含む現実的フェデレーテッドラーニング設定下での局所的アップデート手法に対する理論的収束保証を提供すること。
• ランダムリシャッフルの統合と不完全な局所トレーニングラウンドのより良い処理を加えることで、FedNova を改善すること。
• ミリオンレベルのデバイスを含む大規模なクロスデバイスFLに適した状態非依存的かつスケーラブルなフェデレーテッド最適化を可能にすること。
• モーメンタムの分散低減をリシャッフルと非均質的アップデートと統合し、ヘッセ行列の類似性仮定下での収束を向上させること。

提案手法

• 各局所エポックでクライアントデータのランダムリシャッフルを適用する局所的アップデート手法であるFedShuffleを導入し、分散低減と収束の向上を実現する。
• クライアントごとの局所ステップ数の違いを考慮した新しいアグリゲーションルールを設計し、FedAvg やFedNova に見られる目的関数の不一致を是正する。
• システム制約による不完全な局所ラウンドを処理するため、ステップサイズスケーリングとアップデート重み付けを組み合わせたハイブリッドバージョンであるFedShuffleGenを提案する。
• Cutkosky & Orabona (2019) が提唱したモーメンタム分散低減をFedShuffleに統合し、ヘッセ行列の類似性仮定下での収束を向上させる。
• クライアント損失の重み付き和として最適化問題を定式化し、データサイズに比例するクライアント固有の重みを設定することで、グローバル目的関数の整合性を確保する。
• 各ラウンドでデバイスのサブセットが参加するクライアントサンプリング戦略を実装し、現実のクロスデバイスFLの制約を反映する。

実験結果

リサーチクエスチョン

• RQ1 大規模なFLにおいて重要な要因であるランダムリシャッフル、データ不均衡、クライアントサンプリングを組み合わせたフェデレーテッドラーニング手法が、理論的収束を達成できるか？
• RQ2 FedShuffleは、クライアントが異なる数の局所的アップデートを実行する場合に、FedAvg やFedNova が直面する目的関数の不一致問題をどのように是正するか？
• RQ3 ランダムリシャッフルとモーメンタム分散低減を組み合わせることで、非独立同分布性のあるFL設定下での収束が向上するか？
• RQ4 部分参加と実世界のデータ下で、FedShuffle はFedAvg、FedNova、およびモーメンタム付きFedAvg と比較して、どのように実験的に性能を発揮するか？
• RQ5 ハイブリッドアグリゲーション戦略（FedShuffleGen）は、実環境に近い状況における不完全な局所トレーニングラウンドが引き起こす目的関数の不一致を効果的に是正できるか？

主な発見

• FedShuffleは、ランダムリシャッフル、データ不均衡、クライアントサンプリングという条件のもとで理論的収束を達成する。これは、従来の局所的アップデート手法では未解決であった条件である。
• FedShuffleは、局所的アップデート回数に応じて動的にアグリゲーション重みを調整することで、FedAvg やFedNova に内在する目的関数の不一致問題を解消する。
• LSTMを用いたShakespeareデータセットでは、部分参加（1ラウンドあたり16クライアント）下で、モーメンタム付きのFedShuffleが、FedAvg やFedNova よりも高速な収束と低い訓練損失を達成する。
• ResNet18を用いたCIFAR100では、局所エポック数がクライアントごとにランダムに変動（2〜5エポック）する条件下でも、FedShuffle with momentumがバリデーション精度においてFedAvg やFedNova を上回る。
• 二次的目的関数の実験では、FedShuffle とFedNova 式アグリゲーションを統合したFedShuffleGen が優れた性能を発揮し、不完全な局所ラウンドが原因で生じる目的関数の不一致を是正する。
• FedShuffleにモーメンタム分散低減を組み込むことで、ヘッセ行列の類似性仮定下で収束が早くなり、類似設定下のMimeと同等またはそれを上回る性能を発揮する。