[論文レビュー] Federated Learning in Mobile Edge Networks: A Comprehensive Survey

Wei Yang Bryan Lim, Nguyen Cong Luong+6 more|arXiv (Cornell University)|Sep 26, 2019

Privacy-Preserving Technologies in Data参考文献 202被引用数 144

ひとこと要約

この調査はモバイルエッジネットワークにおける連合学習（FL）をレビューし、FLの基本、課題、解決策、エッジ最適化の適用、プライバシー・セキュリティ・将来の研究方向性について説明します。

ABSTRACT

In recent years, mobile devices are equipped with increasingly advanced sensing and computing capabilities. Coupled with advancements in Deep Learning (DL), this opens up countless possibilities for meaningful applications. Traditional cloudbased Machine Learning (ML) approaches require the data to be centralized in a cloud server or data center. However, this results in critical issues related to unacceptable latency and communication inefficiency. To this end, Mobile Edge Computing (MEC) has been proposed to bring intelligence closer to the edge, where data is produced. However, conventional enabling technologies for ML at mobile edge networks still require personal data to be shared with external parties, e.g., edge servers. Recently, in light of increasingly stringent data privacy legislations and growing privacy concerns, the concept of Federated Learning (FL) has been introduced. In FL, end devices use their local data to train an ML model required by the server. The end devices then send the model updates rather than raw data to the server for aggregation. FL can serve as an enabling technology in mobile edge networks since it enables the collaborative training of an ML model and also enables DL for mobile edge network optimization. However, in a large-scale and complex mobile edge network, heterogeneous devices with varying constraints are involved. This raises challenges of communication costs, resource allocation, and privacy and security in the implementation of FL at scale. In this survey, we begin with an introduction to the background and fundamentals of FL. Then, we highlight the aforementioned challenges of FL implementation and review existing solutions. Furthermore, we present the applications of FL for mobile edge network optimization. Finally, we discuss the important challenges and future research directions in FL

研究の動機と目的

• エッジ上での共同MLトレーニングにおけるプライバシー保護パラダイムとしてのFLを動機づける。
• モバイルエッジネットワークに関連するFLの基本、プロトコル、フレームワークを要約する。
• FLにおける通信効率、ヘテоген性、プライバシー/セキュリティの課題をレビューする。
• モバイルエッジネットワークの最適化と管理のためのFLアプリケーションを探る。
• MECにおけるFLの未解決課題と将来の研究方向を概説する。

提案手法

• FedAvgを中心アルゴリズムとするローカル訓練とグローバル集約を含むFL訓練プロセスを説明する。
• 非IIDデータの統計的課題と提案された解決策（例：データ共有、データ拡張、リバランス）およびマルチタスク学習アプローチを論じる。
• 参加者選択、構成、報告フェーズを含むFLプロトコルとフレームワークの考慮事項を提示する。
• FL内での通信コスト最適化とリソース割り当て戦略をレビューする。
• プライバシーとセキュリティの懸念と潜在的な緩和技術を要約する。
• リソース管理やオフロードなど、モバイルエッジネットワーク最適化タスクへのFLの応用を検討する。

実験結果

リサーチクエスチョン

• RQ1 モバイルエッジネットワークにおける Federated Learning の主要な基本とワークフローは何か？
• RQ2 FLを異種デバイス上に大規模展開した場合に生じる課題と存在する解決策は何か？
• RQ3 プライバシーとセキュリティを保護しつつ、FLをどのように用いてモバイルエッジネットワークを最適化できるか？
• RQ4 MEC環境におけるFLの未開発の研究方向と将来の課題は何か？
• RQ5 エッジインフラストラクチャ上でスケーラブルな FL 実装を可能にするフレームワークと実務的考慮事項は何か？

主な発見

• FLは生データをデバイス上にとどめたまま協調的なモデル訓練を可能にし、データ転送と遅延を削減します。
• 参加者間の非IIDデータは精度と収束の課題をもたらし、データ共有、データ拡張、マルチタスク学習に基づく個別化などの技術を必要とします。
• FedAvgは基礎的な集約手法であり、異種性・収束・個別化に対処する拡張（例：FedProx、MOCHA、FEDPER）があります。
• 通信効率とデバイスの異質性は依然として核心的な課題であり、プロトコルレベルの解決策とリソース認識型訓練戦略を促します。
• FLはセルアソシエーション、計算オフロード、車車両ネットワーク管理などのタスクを含むモバイルエッジネットワーク最適化の推進技術として強い潜在能力を持ちつつ、プライバシーとセキュリティ上の懸念を生じさせます。