[論文レビュー] Federated Learning with Buffered Asynchronous Aggregation

John Nguyen, Kshitiz Malik+5 more|arXiv (Cornell University)|Jun 11, 2021

Privacy-Preserving Technologies in Data参考文献 61被引用数 37

ひとこと要約

FedBuffはフェデレーテッドラーニングのためのバッファ付き非同期集約を導入し、高い並行性を実現しつつ Secure Aggregation と differential privacy に対応可能であり、滑らかな非凸設定での収束性が証明され、同期・非同期ベースラインより実験的な効率向上を示す。

ABSTRACT

Scalability and privacy are two critical concerns for cross-device federated learning (FL) systems. In this work, we identify that synchronous FL - synchronized aggregation of client updates in FL - cannot scale efficiently beyond a few hundred clients training in parallel. It leads to diminishing returns in model performance and training speed, analogous to large-batch training. On the other hand, asynchronous aggregation of client updates in FL (i.e., asynchronous FL) alleviates the scalability issue. However, aggregating individual client updates is incompatible with Secure Aggregation, which could result in an undesirable level of privacy for the system. To address these concerns, we propose a novel buffered asynchronous aggregation method, FedBuff, that is agnostic to the choice of optimizer, and combines the best properties of synchronous and asynchronous FL. We empirically demonstrate that FedBuff is 3.3x more efficient than synchronous FL and up to 2.5x more efficient than asynchronous FL, while being compatible with privacy-preserving technologies such as Secure Aggregation and differential privacy. We provide theoretical convergence guarantees in a smooth non-convex setting. Finally, we show that under differentially private training, FedBuff can outperform FedAvgM at low privacy settings and achieve the same utility for higher privacy settings.

研究の動機と目的

• プライバシーを損なうことなく高い並行性を実現することで、クロスデバイスFLのスケーラビリティを向上させる。
• 更新を適用する前に安全なバッファでアップデートを集約するサーバー更新メカニズムを開発する。
• Secure Aggregationや差分プライバシーなどのプライバシー技術との互換性を確保する。
• 滑らかな非凸目的関数に対する理論的収束保証を提供する。
• 既存の同期的および非同期的FL手法に対して実験的な効率向上を実証する。

提案手法

• クライアントのアップデートを非同期に収集する一方、サーバーアップデートは secure buffer に K 回のアップデートが蓄積された後にのみ発生する FedBuff を提案する。
• 並行性とサーバー更新頻度を切り離すためにバッファサイズ K を用い、K = 10 が良いデフォルトとして特定される。
• プライバシーを保つため、安全な Trusted Execution Environment または暗号化バッファでアップデートを集約する。
• 局所ステップ Q とスレッシュネスを考慮した滑らかな非凸設定におけるFedBuffの収束解析を提供する。
• FedBuffを SecAgg と DP-FTRL を介して差分プライバシーをサポートするように拡張し、GDPプライバシー保証を実現する。
• トレーニングの安定性を支援するため、スタリネススケーリングや学習率正規化などの実用的な改善を組み込む。

実験結果

リサーチクエスチョン

• RQ1 バッファ付き非同期集約はプライバシーを損なうことなく、クロスデバイスFLのスケーラビリティを向上させることができるか？
• RQ2 高い並行性において、FedBuffのバッファサイズ K は収束と通信効率にどのように影響するか？
• RQ3 FedBuffはSecure AggregationとDifferential Privacyに互換性があり、DPは収束とどう相互作用するか？
• RQ4 非同期更新の下で、滑らかな非凸目的関数に対するFedBuffの理論的収束保証は何か？
• RQ5 スタリネス重み付けやLR正規化のような実践的手法が性能にどう影響するか？

主な発見

• FedBuffは実験において最良の同期ベースラインより最大で 3.8x の効率を達成する。
• FedBuffは報告されたベンチマークで最も近い非同期法を最大で 2.5x 上回る。
• K=10 のバッファサイズは CelebA, Sent140, CIFAR-10 のタスクで一貫して高い性能を提供する。
• FedBuffはSecure Aggregationと互換性があり、GDP保証付きの差分プライバシーへ拡張可能である。
• DP の下で、FedBuffは低プライバシー設定で増幅された DP-SGD を用いる同期的 FedAvgM を上回り、高いプライバシー設定で同等の性能を発揮できる。
• 理論結果はFedBuffに対して滑らかな非凸性の下でエルゴード収束率の境界を示す。