[論文レビュー] A Federated Learning Framework for Healthcare IoT devices

Binhang Yuan, Ge Song+1 more|arXiv (Cornell University)|May 7, 2020

Privacy-Preserving Technologies in Data参考文献 14被引用数 50

ひとこと要約

本論文は、ヘルスケアIoTのための分解型フェデレーテッドラーニングフレームワークを提案し、エdgeデバイスと中央サーバの間でニューラルネットワークを分割し、アクティベーション/勾配をスパース化して通信を大幅に削減するが、精度の低下は最小限にとどまる。

ABSTRACT

The Internet of Things (IoT) revolution has shown potential to give rise to many medical applications with access to large volumes of healthcare data collected by IoT devices. However, the increasing demand for healthcare data privacy and security makes each IoT device an isolated island of data. Further, the limited computation and communication capacity of wearable healthcare devices restrict the application of vanilla federated learning. To this end, we propose an advanced federated learning framework to train deep neural networks, where the network is partitioned and allocated to IoT devices and a centralized server. Then most of the training computation is handled by the powerful server. The sparsification of activations and gradients significantly reduces the communication overhead. Empirical study have suggested that the proposed framework guarantees a low accuracy loss, while only requiring 0.2% of the synchronization traffic in vanilla federated learning.

研究の動機と目的

• ヘルスケアIoTにおけるプライバシーとデータ ownershipを確保しつつ、協調的なモデル訓練を実現する。
• 低資源のIoTデバイスにおける計算と通信の負担を削減する。
• 分散訓練環境で高いモデル精度を維持する。
• 分割ニューラルネットワーク手法を活用し、ほとんどの計算をクラウドへ移す。

提案手法

• 深層ニューラルネットワークを浅いエッジサブネットワークと深いクラウドサブネットワークに分解する。
• 最初の層をIoTデバイス上に、残りの層を集中サーバ上に配置する、モデル並列に着想を得た分割（SplitNN風）を採用する。
• 上位K個のアクティベーションと勾配のみを送信して通信をスパース化する（K ≤ 10%）。
• デバイス数の変化に応じて、FedAvgとSplitNNと比較して各イテレーション当たりのネットワークトラフィックを比較する。
• PhysioNet 2017データを用いた実際の不整脈検知タスクで収束と精度の低下を評価する。

実験結果

リサーチクエスチョン

• RQ1 分解型フェデレーテッドラーニングフレームワークは、集中型SGDや他のFL手法と比較して、収束と精度損失の観点でどのように性能を示すか。
• RQ2 ヘルスケアIoTのFL設定において、アクティベーションと勾配のスパース化は通信オーバーヘッドをどの程度削減するか。
• RQ3 提案フレームワークにおけるIoTデバイスの計算負荷とグローバルモデルの性能のトレードオフは何か。
• RQ4 エッジデバイスの同期トラフィックを大幅に削減しつつ、フレームワークは精度を維持できるか。

主な発見

手法	16デバイス（1回のイテレーション）	32デバイス（1回のイテレーション）	64デバイス（1回のイテレーション）
FedAvg	1.36GB	2.72GB	5.45GB
SplitNN	32MB	64MB	128MB
Proposed	3.2MB	6.4MB	12.8MB

• 集中型SGDと比較した収束の遅延は、16台、32台、64台のいずれでも有意でなく、最終的な精度損失は2%未満。
• 提案フレームワークは、16台、32台、64台それぞれでFedAvgに対して99.8%、SplitNNに対しては各イテレーションあたり90%のネットワークトラフィック削減を実現。
• 上位K個のアクティベーションと勾配をスパース化する（K ≤ 10%）ことで、精度の大幅なペナルティなしに通信を大幅に抑制する。
• ほとんどの計算を集中サーバで処理し、エッジデバイスのリソース制約を緩和する。
• 実証評価では、PhysioNet 2017データセット上の最先端の不整脈検知アーキテクチャを使用し、ヘルスケアIoT環境での実現可能性を示す。