[論文レビュー] Federated Learning for Generalization, Robustness, Fairness: A Survey and Benchmark

Wenke Huang, Mang Ye+5 more|arXiv (Cornell University)|Nov 12, 2023

Privacy-Preserving Technologies in Data被引用数 8

ひとこと要約

この論文は、一般化、ロバスト性、フェアネスに統一的な焦点を当てた連邦学習を概観し、データセットと手法にわたるベンチマークを提供します。

ABSTRACT

Federated learning has emerged as a promising paradigm for privacy-preserving collaboration among different parties. Recently, with the popularity of federated learning, an influx of approaches have delivered towards different realistic challenges. In this survey, we provide a systematic overview of the important and recent developments of research on federated learning. Firstly, we introduce the study history and terminology definition of this area. Then, we comprehensively review three basic lines of research: generalization, robustness, and fairness, by introducing their respective background concepts, task settings, and main challenges. We also offer a detailed overview of representative literature on both methods and datasets. We further benchmark the reviewed methods on several well-known datasets. Finally, we point out several open issues in this field and suggest opportunities for further research. We also provide a public website to continuously track developments in this fast advancing field: https://github.com/WenkeHuang/MarsFL.

研究の動機と目的

• 連邦学習の歴史、用語、問題定義を説明する。
• FLにおける一般化、ロバスト性、フェアネスを体系的にレビューする。
• 標準データセット上で代表的手法の総合的なベンチマークを提供する。
• FLのオープン課題と今後の研究機会を検討する。

提案手法

• Generalization、robustness、fairness の3軸に沿ってFL手法を分類し、Cross-Client ShiftとOut-Client Shiftの分析を行う。
• 各軸ごとに代表的手法とデータセットを調査し、長所と短所を要約する。
• データセットを横断したベンチマーク実験を実施し、一般化、ロバスト性、フェアネス指標を評価する。
• 分野の発展を追跡する公開ウェブサイト（MarsFL）を提供する。

実験結果

リサーチクエスチョン

• RQ1 Cross-Client ShiftとOut-Client Shiftは連邦学習の一般化にどのような影響を与えるか。
• RQ2 FLシステムをビザンチン攻撃やバックドア攻撃に対してどのようにロバストにできるか。
• RQ3 FLにおける協調性と性能のフェアネスはどのような要件で、どのように測定・改善できるか。
• RQ4 FLの一般化、ロバ robustness、フェアネスを評価するのに適切なデータセット、指標、ベンチマークは何か。
• RQ5 実用的なFL展開に向けて、最も有望な方向性とオープンな課題は何か。

主な発見

• 調査は一般化、ロバスト性、フェアネスという3つの核心的FL課題を扱い、それらの相互作用を論じている。
• Cross-Client Shift、Out-Client Shift、 ByzantineとBackdoor Attacks、Reward/Prediction fairnes s などのタスク設定で手法を分類・整理している。
• 一般化可能な性能、防御能力、フェアネスの指標を用いた様々な連邦シナリオのベンチマーク分析を提供している。
• 未解決の課題と今後の研究機会を強調し、公開追跡サイト（MarsFL）を提供している。