[論文レビュー] Advancements in Federated Learning: Models, Methods, and Privacy

Huiming Chen, Huandong Wang+3 more|arXiv (Cornell University)|Feb 22, 2023

Privacy-Preserving Technologies in Data被引用数 8

ひとこと要約

この論文は連邦学習（Federated Learning: FL）の進展を総説し、アーキテクチャ（集中型、分散型、クラスター型）、FedOptアルゴリズム、連邦ベースモデル、実世界展開におけるプライバシー/セキュリティの考慮を詳述します。

ABSTRACT

Federated learning (FL) is a promising technique for addressing the rising privacy and security issues. Its main ingredient is to cooperatively learn the model among the distributed clients without uploading any sensitive data. In this paper, we conducted a thorough review of the related works, following the development context and deeply mining the key technologies behind FL from both theoretical and practical perspectives. Specifically, we first classify the existing works in FL architecture based on the network topology of FL systems with detailed analysis and summarization. Next, we abstract the current application problems, summarize the general techniques and frame the application problems into the general paradigm of FL base models. Moreover, we provide our proposed solutions for model training via FL. We have summarized and analyzed the existing FedOpt algorithms, and deeply revealed the algorithmic development principles of many first-order algorithms in depth, proposing a more generalized algorithm design framework. Based on these frameworks, we have instantiated FedOpt algorithms. As privacy and security is the fundamental requirement in FL, we provide the existing attack scenarios and the defense methods. To the best of our knowledge, we are among the first tier to review the theoretical methodology and propose our strategies since there are very few works surveying the theoretical approaches. Our survey targets motivating the development of high-performance, privacy-preserving, and secure methods to integrate FL into real-world applications.

研究の動機と目的

• FLアーキテクチャ（集中型、分散型、クラスター型）の包括的な分類法を提供し、それらのトレードオフを議論する。
• 一般的なアプリケーション課題を抽象化し、それを連邦ベースモデルとトレーニング手法へマッピングする。
• FedOptアルゴリズム（一次/高次、ADMMベース）をレビューし、アルゴリズム開発の一般化設計フレームワークを提案する。
• FLにおけるプライバシーとセキュリティの脅威を分析し、防御機構を概観する。
• 現実世界のアプリケーションへのFLの統合における課題と機会を強調する。

提案手法

• ネットワークトポロジー（集中型、分散型、クラスター型）でFLアーキテクチャを分類し、それらの特性と参考文献を分析する。
• アプリケーション課題を一般的な連邦ベースモデルフレームワークへ抽象化し、対応するトレーニング手法（例：ローカル更新 + グローバル集約）を論じる。
• FedOptアルゴリズム（一次/二次、ADMMベース）をレビューし、局所/グローバル加速設計の一般化フレームワークを提示する。
• FLにおけるプライバシーとセキュリティを扱う攻撃シナリオと防御手法を説明する。
• FLアプリケーション、理論的アプローチ、将来の方向性の統合を提供する。

Figure 1 . The statistics on FL related topic papers from years 2018 to 2022. It can be seen FL has been under fast development and can be expected to maintain quick growth in near future. Specifically, the topics of privacy and security, theoretical approaches (optimization in majority) and applica

実験結果

リサーチクエスチョン

• RQ1 実際の特定アプリケーションから問題を抽象化し、FLに対する解決策を提案するにはどうすべきか？
• RQ2 複数の（半）分散パラメータサーバを展開して（半）分散FLシステムを構築するにはどうするべきか？
• RQ3 効率的で安全で信頼性があり、スケーラブルなFLシステムを構築するにはどうすべきか？

主な発見

• FLアーキテクチャの研究は集中型、分散型、クラスター型のトポロジーを横断しており、クラスター化は性能とプライバシーの間にトレードオフを提供する。
• 著者は連邦ベースモデルの抽象化を提供し、一般的なMLタスク（例：非滑らかな正則化、マルチタスク学習、行列因子分解）をFL設定へマッピングする。
• FedOptアルゴリズムが現在のFL最適化研究を支配しており、一次/二次およびADMMベースのアプローチと局所/グローバル加速パターンの一般化フレームワークを著者が提示する。
• FL研究は急速に成長しており、2022年には1,389件のFL論文があり、産業界の採用が加速し標準化実務の必要性を示している。
• この総説は理論寄りのFL総説の欠如を指摘し、実世界展開のための高性能・プライバシー保護・安全なFLの必要性を強調する。
• 本研究は、スケーラブルで安全なFLシステム設計の体系的手法を提供し、プライバシー/セキュリティの脅威モデルと防御をレビューする。）

Figure 2 . Organization of this survey.