[論文レビュー] A Systematic Literature Review on Federated Machine Learning: From A Software Engineering Perspective

Sin Kit Lo, Qinghua Lu+3 more|arXiv (Cornell University)|Jul 22, 2020

Privacy-Preserving Technologies in Data参考文献 212被引用数 36

ひとこと要約

ソフトウェア工学の観点からフェデレーテッドラーニングを体系的に調査し、ライフサイクル全体（背景、要件、アーキテクチャ、実装、評価）にわたる231件の一次研究を統合し、傾向と課題を特定。

ABSTRACT

Federated learning is an emerging machine learning paradigm where clients train models locally and formulate a global model based on the local model updates. To identify the state-of-the-art in federated learning and explore how to develop federated learning systems, we perform a systematic literature review from a software engineering perspective, based on 231 primary studies. Our data synthesis covers the lifecycle of federated learning system development that includes background understanding, requirement analysis, architecture design, implementation, and evaluation. We highlight and summarise the findings from the results, and identify future trends to encourage researchers to advance their current work.

研究の動機と目的

• ソフトウェア工学の観点からフェデレーテッドラーニングシステム開発の包括的概要を提供する。
• フェデレーテッドラーニングの研究活動、トピック、専門家を特定する。
• SDLCの各段階にわたるフェデレーテッドラーニングの要件、アーキテクチャ設計、実装、評価を分析する。
• 実務家と研究者を導くための課題と将来動向を強調する。
• 採用とシステム開発の意思決定を支えるデータ駆動型の総合を提供する。

提案手法

• Kitchenhamのガイドライン（2007）に従う体系的文献レビュー。
• ACM DL、IEEE Xplore、ScienceDirect、Springer、ArXiv、Google Scholarからのソース選定（2016-2020）。
• 4つの品質基準（引用率、方法論、発見、将来の仕事）を用いた包含/除外基準と品質評価。
• 2人の研究者による二重チェックのコード化で231件の一次研究のデータ抽出。
• 初期セットを補強するフォワードおよびバックワード・スノーボール法。
• フェデレーテッドラーニングのソフトウェアライフサイクル（背景、要件、アーキテクチャ、実装、評価）に沿って研究を分類。

実験結果

リサーチクエスチョン

• RQ1 RQ1: フェデレーテッドラーニングとは何か？
• RQ2 RQ1.1: なぜフェデレーテッドラーニングが採用されるのか？
• RQ3 RQ1.2: フェデレーテッドラーニングの適用分野は何か？
• RQ4 RQ1.3: フェデレーテッドラーニングのアプリケーションはどのようなデータを扱うか？
• RQ5 RQ1.4: フェデレーテッドラーニングのアプリケーションにおけるクライアントデータ分布はどうなっているか？

主な発見

• フェデレーテッドラーニングは、局所データがデバイスを離れない分散的/中央調整または分散型のトレーニングアプローチであり、更新値または勾配が共有されてグローバルモデルを形成する。
• 採用の動機はデータプライバシーと通信効率性にあり、スケーラビリティの利点もある；非IIDデータ下でのモデル性能は依然として課題。
• アプリケーションとデータタイプは、画像データ、構造化データ、テキストが最も一般的であることを示す；MNISTは頻繁に使用されるデータセットであり、多くの研究は実運用システムというより概念実証またはシミュレーションである。
• クライアントデータ分布はしばし非IID、IID、または未指定であることが多い；非IID分布はモデル性能に大きく影響し、FedAvgの拡張の焦点となっている。
• 研究活動は通信効率、ヘテロジニティ（統計的およびシステム的）、データセキュリティ、クライアントのセキュリティに関するものが急増した、特に2019年頃; 課題にはドロップアウト対処、非IIDへのロバスト性、スケーラビリティが含まれる。