[論文レビュー] Asynchronous Federated Learning on Heterogeneous Devices: A Survey

Chenhao Xu, Youyang Qu+2 more|arXiv (Cornell University)|Sep 9, 2021

Privacy-Preserving Technologies in Data参考文献 112被引用数 46

ひとこと要約

この調査は、異種デバイス上の AFL の変種を分析し、それらをデバイスとデータの異質性、プライバシー、セキュリティ、アプリケーションで分類し、125件の論文をレビューし、課題と今後の方向性を概説します。

ABSTRACT

Federated learning (FL) is a kind of distributed machine learning framework, where the global model is generated on the centralized aggregation server based on the parameters of local models, addressing concerns about privacy leakage caused by the collection of local training data. With the growing computational and communication capacities of edge and IoT devices, applying FL on heterogeneous devices to train machine learning models is becoming a prevailing trend. Nonetheless, the synchronous aggregation strategy in the classic FL paradigm, particularly on heterogeneous devices, encounters limitations in resource utilization due to the need to wait for slow devices before aggregation in each training round. Furthermore, the uneven distribution of data across devices (i.e. data heterogeneity) in real-world scenarios adversely impacts the accuracy of the global model. Consequently, many asynchronous FL (AFL) approaches have been introduced across various application contexts to enhance efficiency, performance, privacy, and security. This survey comprehensively analyzes and summarizes existing AFL variations using a novel classification scheme, including device heterogeneity, data heterogeneity, privacy, and security on heterogeneous devices, as well as applications on heterogeneous devices. Finally, this survey reveals rising challenges and presents potentially promising research directions in this under-investigated domain.

研究の動機と目的

• 異種のエッジ/IoTデバイス間でプライバシー保護された協調学習を促進する。
• 異種デバイス上の同期FLの制限とAFLの必要性を分析する。
• デバイスの異質性、データの異質性、プライバシー、セキュリティ、およびアプリケーションに基づくAFLアプローチの新しい分類を提供する。
• 異種デバイス上のAFLの課題を総括し、有望な将来の研究方向を提案する。

提案手法

• 2019年から2022年までのAFL変種の体系的文献調査を実施し、125件の論文と7つの調査を網羅する。
• デバイスの異質性、データの異質性、プライバシー、セキュリティ、およびアプリケーション文脈に基づく新しい分類スキームを提案する。
• ノード選択、重み付け集約、勾配圧縮、半非同期FL、クラスタFL、モデル分割などの主要な次元でAFL手法を分析する。
• AFLにおけるプライバシー/セキュリティの促進要因として、ブロックチェーンと差分プライバシーの役割を論じる。
• アプリケーションシナリオを統合し、未解決の課題と将来の研究方向を特定する。

実験結果

リサーチクエスチョン

• RQ1 従来のFLと比較して、非同期FLはデバイスの異質性とデータの異質性にどのように対処しているか？
• RQ2 異種デバイス上のAFLで適用可能で効果的なプライバシーとセキュリティの機構は何か？
• RQ3 異種デバイス上のAFLの現在の適用分野は何か、また提案されている将来の研究方向は何か？

主な発見

• 本調査は2019–2022年の125件の研究論文をレビュー・分析している（7件の関連調査を含む）。
• AFLの変種は、デバイスの異質性、データの異質性、プライバシー、セキュリティ、アプリケーション文脈にわたって分類・要約されている。
• AFLは、異種デバイス上の同期FLに固有のデバイスの信頼性欠如、遅延者、資源利用の非効率性に対する解として位置づけられている。
• 本論文は異種デバイス向けAFLの新たな課題と有望な研究方向を特定している。