[論文レビュー] End-to-End Evaluation of Federated Learning and Split Learning for Internet of Things

Yansong Gao, Minki Kim+7 more|arXiv (Cornell University)|Mar 30, 2020

Privacy-Preserving Technologies in Data参考文献 28被引用数 39

ひとこと要約

論文は、実デバイスのIoTハードウェア上でFederated Learning（FL）とSplit Neural Networks（SplitNN）を実証的に比較し、IID、不均衡、非IIDデータ下での学習性能と、Raspberry Piデバイス上の実装オーバーヘッドを評価します。

ABSTRACT

This work is the first attempt to evaluate and compare felderated learning (FL) and split neural networks (SplitNN) in real-world IoT settings in terms of learning performance and device implementation overhead. We consider a variety of datasets, different model architectures, multiple clients, and various performance metrics. For learning performance, which is specified by the model accuracy and convergence speed metrics, we empirically evaluate both FL and SplitNN under different types of data distributions such as imbalanced and non-independent and identically distributed (non-IID) data. We show that the learning performance of SplitNN is better than FL under an imbalanced data distribution, but worse than FL under an extreme non-IID data distribution. For implementation overhead, we end-to-end mount both FL and SplitNN on Raspberry Pis, and comprehensively evaluate overheads including training time, communication overhead under the real LAN setting, power consumption and memory usage. Our key observations are that under IoT scenario where the communication traffic is the main concern, the FL appears to perform better over SplitNN because FL has the significantly lower communication overhead compared with SplitNN, which empirically corroborate previous statistical analysis. In addition, we reveal several unrecognized limitations about SplitNN, forming the basis for future research.

研究の動機と目的

• FLとSplitNNのIID、不均衡、非IIDデータ設定下での学習性能（精度と収束）を測定する。
• リソース制約のあるIoTハードウェア上でのエンドツーエンドの実装オーバーヘッド（学習時間、電力、メモリ、通信）を評価する。
• Raspberry Pi上でFLとSplitNNの展開の実現可能性を探り、実用的な展開ガイダンスを導出する。

提案手法

• 複数のデータセットとクライアント数（2〜100）でIID、不均衡、非IID条件下でFLとSplitNNを比較する。
• IoTデバイスに適した小さなパラメータ数を持つ1D CNNモデルを使用；収束速度と精度を評価。
• Raspberry PiデバイスにFLとSplitNNの両方をマウントして、学習時間、メモリ、電力、温度、通信オーバーヘッドを測定。
• SplitNN対応のアンサンブル学習を調査して、サーバー資源上で複数モデルを並行生成する。
• SplitNNをアンサンブル学習に拡張し、個別にモデルを学習させる場合と比べてエンドツーエンドのタイミングとリソース使用を比較する。

実験結果

リサーチクエスチョン

• RQ1 RQ1: SplitNNの学習性能に影響を与える要因は何か（クライアント数、不均衡データ、非IIDデータ）？
• RQ2 RQ2: どの設定下でSplitNNは学習性能と収束の点でFederated Learningを上回るか？
• RQ3 RQ3: リソース制約のあるIoTハードウェア上でのFLとSplitNNのエンドツーエンドの実装オーバーヘッドはどれくらいか？
• RQ4 RQ4: SplitNNはアンサンブル学習と併用して学習時間とリソース使用を削減できるか？

主な発見

• SplitNNは不均衡なデータ分布下でFLより収束が速いが、極端な非IID分布では学習に失敗する。
• 多くのクライアントや高度に非IIDなデータでは、FLが中央集権的なベースラインに到達するのが困難だが、ローカルエポックのチューニングは収束を助けることがある。
• Raspberry Piハードウェア上では、FLは一般的に通信オーバーヘッドが低くクライアント側の並列性が高く、通信が主なボトルネックになる場合に適している。
• SplitNNは通信オーバーヘッドが大きく、IoTデバイス上の重いモデルには実用的でないことがある；そのようなハードウェアには小さめの1D CNNを推奨。
• SplitNNを用いたアンサンブル学習は、モデルを逐次学習させる場合と比較して総学習時間と一部リソース使用を削減できるが、通信オーバーヘッドを減らすわけではない。