[論文レビュー] Federated Learning for Internet of Things: Recent Advances, Taxonomy, and Open Challenges

Latif U. Khan, Walid Saad+3 more|arXiv (Cornell University)|Sep 27, 2020

Privacy-Preserving Technologies in Data被引用数 6

ひとこと要約

本稿は、インターネット・オブ・シングス（IoT）ネットワークにおけるプライバシー保護ソリューションとしてのフェデレーテッドラーニング（FL）を提案し、生データの転送なしにデバイス内でのモデル学習を可能にする。IoTにおけるFLの分類法を提示し、データ／システムの非同一性や通信オーバーヘッドといった主な課題を分析するとともに、耐障害性、プライバシー、スケーラビリティといった未解決の問題を特定。6G対応スマートアプリケーションにおける効率的かつ安全なFL展開のため、量子化、スパarsification、適応的リソース割り当てといったソリューションを提案する。

ABSTRACT

The Internet of Things (IoT) will be ripe for the deployment of novel machine learning algorithms for both network and application management. However, given the presence of massively distributed and private datasets, it is challenging to use classical centralized learning algorithms in the IoT. To overcome this challenge, federated learning can be a promising solution that enables on-device machine learning without the need to migrate the private end-user data to a central cloud. In federated learning, only learning model updates are transferred between end-devices and the aggregation server. Although federated learning can offer better privacy preservation than centralized machine learning, it has still privacy concerns. In this paper, first, we present the recent advances of federated learning towards enabling federated learning-powered IoT applications. A set of metrics such as sparsification, robustness, quantization, scalability, security, and privacy, is delineated in order to rigorously evaluate the recent advances. Second, we devise a taxonomy for federated learning over IoT networks. Third, we propose two IoT use cases of dispersed federated learning that can offer better privacy preservation than federated learning. Finally, we present several open research challenges with their possible solutions.

研究の動機と目的

• 中央集権的機械学習がデータ転送およびプライバシーのリスクにより実用的でない大規模なIoTネットワークにおける、プライバシーおよびデータ非同一性の課題に対処する。
• 主要なシステムおよびアプリケーションパラメータに基づき、IoTネットワークにおけるフェデレーテッドラーニングの包括的な分類法を構築する。
• 通信オーバーヘッド、モデル収束、悪意あるノードに対する耐性といった、IoT向けフェデレーテッドラーニングにおける未解決の課題を特定・分析する。
• 量子化、スパarsification、適応的リソース割り当てといった技術的ソリューションを提案し、リソース制限のあるIoT環境におけるスケーラビリティおよび効率性を向上させる。
• 将来の6G対応インテอรnet・オブ・イーグル（IoE）アプリケーションで厳格なプライバシー要件を満たすために、分散型フェデレーテッドラーニングと暗号化された同型暗号を統合する。

提案手法

• IoTデバイスから中央またはエッジサーバーへ生データではなくローカルモデル更新のみを送信し、グローバルモデルを集約するフェデレーテッドラーニングフレームワークを提案する。
• 通信プロトコル、デバイス非同一性などのシステムパラメータ、スマートシティ、医療などのアプリケーション分野、およびセキュリティメカニズムに基づく分類法を導入する。
• 通信オーバーヘッドを低減するため、スパarsificationおよび量子化技術を適用し、帯域幅使用量を最小限に抑えつつ収束劣化を管理する。
• デバイスの能力およびローカルデータサイズに応じて動的に計算および通信リソースを割り当てる適応的リソース割り当て戦略を設計し、収束速度を向上させる。
• グローバルおよびサブグローバル集約サーバーの両方からモデル更新を保護するため、分散型FLアーキテクチャに同型暗号を統合し、信頼できない環境におけるプライバシー強化を実現する。
• デバイスの接続選択と送信電力割り当てを混合整数非線形プログラミング問題としてモデル化し、エネルギー効率と学習パフォーマンスのバランスを取るために部分最適に解く。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、非同一なデバイスおよび非IIDデータ分布を有する大規模なIoTネットワークにフェデレーテッドラーニングを効果的にスケーリングできるか？
• RQ2 無線IoTネットワーク上でのフェデレーテッドラーニングの展開における主な技術的ボトルネックは何か。それらはどのように緩和できるか？
• RQ3 量子化およびスパarsificationは、モデル精度の著しい低下や収束時間の延長を伴わずに、通信コストをどの程度低減できるか？
• RQ4 適応的リソース割り当ては、非均質なIoT環境における収束速度および公平性をどのように向上させるか？
• RQ5 同型暗号および分散型FLは、将来の6G対応でプライバシーが重要な要件となるIoEアプリケーションにおけるフェデレーテッドラーニングのセキュリティをどのように強化するか？

主な発見

• フェデレーテッドラーニングにより、IoTネットワークにおけるデバイス内学習が可能となり、生データ転送を排除することで、中央集権的学習と比較してプライバシーリスクが顕著に低減される。
• スパarsificationおよび量子化技術を用いることで、特定の設定では通信オーバーヘッドを最大90％まで削減可能であるが、収束速度およびモデル精度のトレードオフが生じる。
• デバイスの計算能力およびローカルデータサイズに基づく適応的リソース割り当て戦略により、非均質なデバイスを含むシミュレーションで、グローバルモデルの収束時間を最大40％短縮できる。
• ユニバーサルベクトル量子化やハイパースフィア量子化といった量子化手法は、モデル更新サイズを縮小しつつ、IoT上でのフェデレーテッドラーニングにおける妥当なモデルパフォーマンスを維持する。
• 同型暗号を統合した分散型フェデレーテッドラーニングはエンドツーエンドのプライバシー保護を提供し、グローバルおよびサブグローバルの悪意ある集約サーバーからの脅威からモデルを守る。
• フェデレーテッドラーニングと6Gネットワークの統合は、自律走行車両や脳-コンピュータインターフェースといった、超低遅延および高プライバシー要件を求める新興IoEアプリケーションを支援するために不可欠である。