[論文レビュー] Personalized Federated Learning for Intelligent IoT Applications: A Cloud-Edge based Framework

Qiong Wu, Kaiwen He+1 more|arXiv (Cornell University)|Feb 25, 2020

Privacy-Preserving Technologies in Data参考文献 31被引用数 27

ひとこと要約

本稿では、デバイス、統計的、モデルの非同一性に対処することで、インテリジェントなIoTアプリケーションにおけるパーソナライズドモデル学習を可能にするクラウドエッジ連合学習フレームワークPerFitを提案する。エッジコンピューティングとパーソナライズド連合学習手法（例えば、連合 distillation や転移学習）を統合することにより、標準的な連合学習よりも最大11.12%高い精度を達成するとともに、通信オーバーヘッドを低減し、実世界のIoT展開における強力なパフォーマンスとスケーラビリティを示している。

ABSTRACT

Internet of Things (IoT) have widely penetrated in different aspects of modern life and many intelligent IoT services and applications are emerging. Recently, federated learning is proposed to train a globally shared model by exploiting a massive amount of user-generated data samples on IoT devices while preventing data leakage. However, the device, statistical and model heterogeneities inherent in the complex IoT environments pose great challenges to traditional federated learning, making it unsuitable to be directly deployed. In this article we advocate a personalized federated learning framework in a cloud-edge architecture for intelligent IoT applications. To cope with the heterogeneity issues in IoT environments, we investigate emerging personalized federated learning methods which are able to mitigate the negative effects caused by heterogeneity in different aspects. With the power of edge computing, the requirements for fast-processing capacity and low latency in intelligent IoT applications can also be achieved. We finally provide a case study of IoT based human activity recognition to demonstrate the effectiveness of personalized federated learning for intelligent IoT applications.

研究の動機と目的

• 従来の連合学習を阻害する、IoT環境におけるデバイス、統計的、モデルの非同一性の課題に対処すること。
• データプライバシーを損なわず、個々のIoTデバイスにおける高精度なパーソナライズドモデル学習を可能にすること。
• エッジコンピューティングを活用して、分散型IoT学習における遅延と通信コストを低減すること。
• 人間の行動認識のような実世界のIoTアプリケーションにおけるパーソナライズド連合学習の有効性を評価すること。
• パーソナライズーションが、非同一なクライアント間でのパフォーマンスの一貫性を著しく向上させることを示すこと。

提案手法

• エッジサーバーがモデル集約とパーソナライズーションを担当するクラウドエッジアーキテクチャを提案し、中央クラウドの負荷を軽減する。
• 4つのパーソナライズド連合学習技術を統合：連合転移学習、連合メタラーニング、連合マルチタスク学習、連合 distillation。
• 連合 distillation を用いて、ソフトラベル出力による知識移転によりモデル非同一性への対応を可能にし、通信ペイロードを1ラウンドあたり5,000にまで削減（モデルパラメータ送信の33,698対比）。
• エッジクライアントに軽量モデル（3NN および CNN）を採用し、近隣のエッジノードに計算をオフロードすることで、遅延とエネルギー消費を低減する。
• データセキュリティ強化のため、エッジで微分プライバシーと同型暗号化を適用するプライバシー保護技術を採用する。
• 中央クラウドサーバーを用いてグローバルモデルの更新を調整し、知識共有を促進しながらも、データの局所性を維持する。

実験結果

リサーチクエスチョン

• RQ1 パーソナライズド連合学習は、非IIDおよび非同一なデータ環境下での個々のIoTデバイスにおけるモデル精度を向上させることができるか？
• RQ2 エッジコンピューティングは、リソース制限のあるIoTシステムにおける連合学習のパフォーマンスとスケーラビリティをどのように向上させるか？
• RQ3 パーソナライズド連合学習において、高いモデル精度を維持しつつ通信オーバーヘッドをどの程度まで低減できるか？
• RQ4 パーソナライズーションは、連合学習における統計的およびモデルの非同一性によって引き起こされるパフォーマンス劣化をどの程度緩和できるか？
• RQ5 統合されたクラウドエッジフレームワークは、実世界のIoTアプリケーションにおいて複数のパーソナライズド連合学習手法を効果的にサポートできるか？

主な発見

• 連合転移学習を用いたPerFitは3NNで95.37%のテスト精度を達成し、標準的連合学習（FL-3NN）よりも11.12%高い。
• 連合 distillation（FD）は、標準的連合学習（FL-CNN）と比較して5.69%の精度向上を達成し、クライアント間のパフォーマンスばらつきを顕著に低減した。
• ボックスプロット分析から、パーソナライズド連合学習が30名のクライアント間での精度ばらつきを低減し、全クライアントが狭い範囲内で一貫したパフォーマンスを達成していることが示された。
• 連合 distillation では通信オーバーヘッドが著しく削減され、1ラウンドあたりのペイロードが5,000（出力スコアに基づく）にまで低下した（モデルパラメータ送信の33,698対比）。
• すべてのパーソナライズド連合学習手法が90%以上の精度を達成しており、大規模なIoTアプリケーションにおける堅牢性とスケーラビリティを示している。
• FD-1およびFD-2設定における実験から、異なるローカルモデル（3NN または CNN）を用いるクライアントでも、最小限のパフォーマンス低下でモデル非同一性への対応が可能であることが確認された。