[論文レビュー] A Field Guide to Federated Optimization

Jianyu Wang, Zachary Charles+51 more|arXiv (Cornell University)|Jul 14, 2021

Privacy-Preserving Technologies in Data参考文献 276被引用数 167

ひとこと要約

この論文は、連邦学習アルゴリズムの定式化、設計、評価、分析に関する実用的なガイドラインを提供し、シミュレーション駆動の評価と現実世界の考慮事項を重視します。FedAvgと関連技術を実用的なアンカーとして中心に据えつつ、通信、異質性、プライバシーといった課題を強調します。

ABSTRACT

Federated learning and analytics are a distributed approach for collaboratively learning models (or statistics) from decentralized data, motivated by and designed for privacy protection. The distributed learning process can be formulated as solving federated optimization problems, which emphasize communication efficiency, data heterogeneity, compatibility with privacy and system requirements, and other constraints that are not primary considerations in other problem settings. This paper provides recommendations and guidelines on formulating, designing, evaluating and analyzing federated optimization algorithms through concrete examples and practical implementation, with a focus on conducting effective simulations to infer real-world performance. The goal of this work is not to survey the current literature, but to inspire researchers and practitioners to design federated learning algorithms that can be used in various practical applications.

研究の動機と目的

• フェデレーテッド最適化を定義し、その現実世界の制約（通信、異質性、プライバシー、システム）を動機づける。
• 理論と実践を橋渡しするためのアルゴリズム設計・評価・シミュレーションの実用的ガイドラインを提供する。
• 代表的な技法を示し、それらがシステム制約とどのように相互作用するかを説明する。
• 評価戦略、データセット、現実的な調整を用いて実世界の性能を推測する。
• フェデレーテッド最適化に関連する展開上の配慮事項と理論的道具を概説する。

提案手法

• 標準的なフェデレーテッド学習問題と、実用的なフレームワークとしての一般化された Federated Averaging (FedAvg) アルゴリズムを提示する（Algorithm 1）。
• 部分参加、確率近似、局所更新がどのように組み合わさって FedAvg およびその派生（FedOpt）を形成するかを論じる。
• パフォーマンス向上の代表的技法（モーメンタム/適応法、バイアス低減、正則化、代替集約）をレビューする。
• フェデレーテッド最適化アルゴリズムを評価するためのシミュレーションフレームワークと、パラメータ調整を導くガイドを説明する。
• プライバシー適合プロトコルを含む、システムレベルのコストと実用的な展開上の考慮事項を概説する。

実験結果

リサーチクエスチョン

• RQ1 データの異質性とプライバシー制約を反映するように、フェデレーテッド最適化問題をどのように定式化すべきか？
• RQ2 通信制限と異質なクライアント下で良好な性能を発揮する実用的なFLアルゴリズムを、どのように設計・評価すべきか？
• RQ3 Vanilla FedAvgを超える、収束性とロバスト性を向上させる効果的な技法は何か？
• RQ4 シミュレーションとチューニング戦略をどのように実世界の性能推定に役立てるべきか？
• RQ5 プライバシー、ロバスト性、個別化の観点で、連邦理論と実践展開の関係はどのようになるのか？

主な発見

• FedAvgは、柔軟なClientOptとServerOptコンポーネントを有する一般化されたFedOptフレームワークとして見ることができる。
• 部分参加、局所更新、および確率近似は、異質性の下で収束を維持しつつ通信を削減するのに中心的である。
• モーメンタム、適応法、局所更新のバイアス低減、正則化、代替集約は、Vanilla FedAvgよりも性能を向上させ得る。
• 現実的なシミュレーションと、クライアント/サーバーの学習率、コホートサイズ、局所ステップの慎重な調整は、実世界の性能を推定するうえで不可欠である。
• 多様な問題定式化（複合最適化、確率的/後方視点）により、標準的なERM定式化を超えたさまざまなフェデレーテッド最適化アルゴリズムが動機づけられる。