[論文レビュー] Federated Learning: Opportunities and Challenges

Priyanka Mary Mammen|arXiv (Cornell University)|Jan 14, 2021

Privacy-Preserving Technologies in Data参考文献 35被引用数 144

ひとこと要約

フェデレーテッドラーニングは生データを共有せずに協調的な機械学習を可能にしますが、トレーニング、プライバシー、セキュリティの課題に直面します。本論文はアーキテクチャ、応用、防御、および最近の動向を概観します。

ABSTRACT

Federated Learning (FL) is a concept first introduced by Google in 2016, in which multiple devices collaboratively learn a machine learning model without sharing their private data under the supervision of a central server. This offers ample opportunities in critical domains such as healthcare, finance etc, where it is risky to share private user information to other organisations or devices. While FL appears to be a promising Machine Learning (ML) technique to keep the local data private, it is also vulnerable to attacks like other ML models. Given the growing interest in the FL domain, this report discusses the opportunities and challenges in federated learning.

研究の動機と目的

• 感度の高い領域におけるプライバシー保護型の協調学習パラダイムとしてのフェデレーテッドラーニングを動機づける。
• FLアーキテクチャ、タイプ、応用の構造化された概要を提供する。
• FLシステムのトレーニングのボトルネックと異質性の問題を特定する。
• FLにおけるプライバシーとセキュリティの脅威と防御を調査する。
• FLの最近の動向と今後の研究方向性を強調する。

提案手法

• 主要なFLアーキテクチャとカテゴリ（垂直、水平、転移、クロスシロ、クロスデバイス）の文献調査。
• 通信オーバーヘッドやデータ／システムの異質性などのトレーニングボトルネック（FedAvgおよび代替案）の議論。
• メンバーシップ推定、データ毒、モデル毒、バックドア攻撃と防御策（安全計算、差分プライバシー、信頼できる実行環境）
• 最近のFLの動向（ワンショットFL、インセンティブ機構、FLをサービスとして提供、非同期FL、ブロックチェーンベースのFL）
• ヘルスケア、交通、金融、NLPにおけるFLの応用の図示。

実験結果

リサーチクエスチョン

• RQ1 データ分布と参加の仕方の違いという観点から、主なFLアーキテクチャは何か？
• RQ2 FLにおける主なトレーニング、プライバシー、セキュリティの課題は何で、既存または提案されている防御は何か？
• RQ3 FLが有益な主要な応用分野は何か、そしてその可能性を示す例は？
• RQ4 FLのスケーラビリティ、インセンティブ、プライバシー懸念に対処できる新興の動向と方向性は何か？

主な発見

• Federated Learning は生データを交換せずに協調的なモデル学習を可能にし、医療、交通、金融、NLPなどで潜在性を持つ。
• FLのトレーニングは通信オーバーヘッドとデバイス・データの異質性により課題があり、新たな集約・効率化手法が必要。
• FLはメンバーシップ推定、データ Poisoning、モデル Poisoning、バックドア攻撃などの多様な攻撃に対して脆弱であり、安全計算、差分プライバシー、信頼性実行環境などの防御を促す。
• 防御はしばしばモデル精度を低下させるか、計算オーバーヘッドを課す。プライバシー・セキュリティと性能のバランスは依然として未解決の課題。
• 最近の動向にはワンショットFLと蒸留型ワンショットFL、インセンティブ機構、サービスとしてのFL、非同期FL、ブロックチェーンベースのFLフレームワークが含まれる。