[論文レビュー] Recent Advances on Federated Learning: A Systematic Survey

Bingyan Liu, Nuoyan Lv+2 more|arXiv (Cornell University)|Jan 3, 2023

Privacy-Preserving Technologies in Data被引用数 8

ひとこと要約

tldr: A systematic survey of federated learning that introduces a four-aspect taxonomy, reviews aggregation, heterogeneity, security, and fairness methods, frameworks, and future directions.

ABSTRACT

Federated learning has emerged as an effective paradigm to achieve privacy-preserving collaborative learning among different parties. Compared to traditional centralized learning that requires collecting data from each party, in federated learning, only the locally trained models or computed gradients are exchanged, without exposing any data information. As a result, it is able to protect privacy to some extent. In recent years, federated learning has become more and more prevalent and there have been many surveys for summarizing related methods in this hot research topic. However, most of them focus on a specific perspective or lack the latest research progress. In this paper, we provide a systematic survey on federated learning, aiming to review the recent advanced federated methods and applications from different aspects. Specifically, this paper includes four major contributions. First, we present a new taxonomy of federated learning in terms of the pipeline and challenges in federated scenarios. Second, we summarize federated learning methods into several categories and briefly introduce the state-of-the-art methods under these categories. Third, we overview some prevalent federated learning frameworks and introduce their features. Finally, some potential deficiencies of current methods and several future directions are discussed.

研究の動機と目的

• 新しい連邦学習の分類法を、パイプラインと課題（集約、ヘテージョナリティ、プライバシー、フェアネス）に基づいて提示すること。
• 各分類カテゴリ内の最先端FL手法を要約すること。
• 代表的なFLフレームワークとその特徴を概観すること。
• 現在の不足点を論じ、FL研究の将来の方向性を提案すること。

提案手法

• FLアプローチを主要なパイプラインと課題に合わせる分類法を提案すること。
• FL手法を集約最適化、異種性FL、セーフFL、フェアFLに分類すること。
• 各カテゴリで代表的な手法（例: FedAvg, FedMA, FedProx）の簡要な説明を提供すること。
• FLフレームワークとその展開要素を調査すること。
• FLの制限点と将来の研究方向性を論じること。

実験結果

リサーチクエスチョン

• RQ1 FLのパイプラインと課題に基づく効果的な分類法は何か。
• RQ2 集約最適化、異種性FL、セキュアFL、フェアFLの先導的手法は何か。
• RQ3 実際の展開のために存在するFLフレームワークと、それらが提供する特徴は何か。
• RQ4 現状のFL手法の不足点は何であり、将来の方向性で最も有望なものは何か。

主な発見

• 四則の分類法を導入する：集約最適化、異種フェデレーテッドラーニング、セキュアフェデレーテッドラーニング、フェアフェデレーテッドラーニング。
• 分類法全体にわたる代表的な手法とフレームワークをレビューし、最新の進展を反映する。
• プライバシー、セキュリティの脅威、フェアネスの懸念を、FL研究の中核的課題として強調する。
• FL理論と実践を進化させるための潜在的な不足点を論じ、将来の方向性を概説する。
• 2020年以降のFL研究の上昇傾向と、時宜を得た包括的調査の必要性を指摘する。