[論文レビュー] SplitFed: When Federated Learning Meets Split Learning

Chandra Thapa, M.A.P. Chamikara+2 more|arXiv (Cornell University)|Apr 25, 2020

Privacy-Preserving Technologies in Data被引用数 41

ひとこと要約

SplitFed は連邦学習とスプリット学習を組み合わせ、スプリット学習と同等の精度を達成しつつ、並列クライアント学習と差分プライバシーおよび PixelDP を用いたプライバシー強化を実現します。

ABSTRACT

Federated learning (FL) and split learning (SL) are two popular distributed machine learning approaches. Both follow a model-to-data scenario; clients train and test machine learning models without sharing raw data. SL provides better model privacy than FL due to the machine learning model architecture split between clients and the server. Moreover, the split model makes SL a better option for resource-constrained environments. However, SL performs slower than FL due to the relay-based training across multiple clients. In this regard, this paper presents a novel approach, named splitfed learning (SFL), that amalgamates the two approaches eliminating their inherent drawbacks, along with a refined architectural configuration incorporating differential privacy and PixelDP to enhance data privacy and model robustness. Our analysis and empirical results demonstrate that (pure) SFL provides similar test accuracy and communication efficiency as SL while significantly decreasing its computation time per global epoch than in SL for multiple clients. Furthermore, as in SL, its communication efficiency over FL improves with the number of clients. Besides, the performance of SFL with privacy and robustness measures is further evaluated under extended experimental settings.

研究の動機と目的

• データを共有できない状況でのデータプライバシーを重視した分散学習の動機付け。
• 並列性とクライアント側計算の低減を生かすために FL と SL の組み合わせを探求。
• 差分プライバシーと PixelDP によるプライバシー保護とモデルの頑健性の向上。
• FL、SL、SFL の精度、通信、計算のトレードオフを評価。

提案手法

• クライアント側の計算を FL のように並列化しつつ、モデルをクライアントとサーバの間で分割する SplitFed 学習（SFL）を導入。
• クライアント側の更新に対して FedAvg を実行する fed サーバを用い、グローバルなクライアント側モデルを同期。
• クライアントから送られる smashed データをサーバ側モデルを通して処理し、バックプロパゲーションのための勾配を交換。
• クライアント側の学習に差分プライバシーを適用し、smashed データに PixelDP ノイズを組み込んでプライバシーを保護し頑健性を向上。
• 二つのバリアントを説明：SFLV1（サーバーサイドの並列実行による集約）と SFLV2（サーバーサイドの FedAvg なしの逐次処理）。
• FL および SL と比較した通信・学習時間の総コスト分析を提供。

実験結果

リサーチクエスチョン

• RQ1 SFL は複数のデータセットとアーキテクチャにおいて SL と同等のモデル精度を達成するか。
• RQ2 SFL は精度と通信効率を保ちながら SL よりもグローバルエポックあたりの学習効率を改善するか。
• RQ3 プライバシー保護機構（DP と PixelDP）は SFL の精度と頑健性にどのような影響をもたらすか。
• RQ4 SFL は FL および SL と比較してクライアント数の増加に対してどのようにスケールするか。
• RQ5 SFL のバリアントと FL および SL との間での通信と計算のトレードオフはどうなるか。

主な発見

方法	データセット	アーキテクチャ	通常	FL	SL	SFLV1	SFLV2
Normal	HAM10000	ResNet18	79.3%	77.5%	79.1%	79%	79.2%
Normal	HAM10000	AlexNet	80.1%	75%	73.8%	70.5%	74.9%
Normal	FMNIST	LeNet	92.7%	91.9%	90.4%	89.6%	90.4%
Normal	FMNIST	AlexNet	90.5%	89.7%	84.7%	86%	81%
Normal	CIFAR10	LeNet	72.1%	69.4%	62.7%	62.6%	63.8%
Normal	MNIST	AlexNet	98.8%	98.7%	95.1%	96.9%	92%
Normal	MNIST	ResNet18	99.3%	99.2%	99.2%	99%	99.2%

• SFL は SL と同等のテスト精度を達成し、クライアントの並列処理によりグローバルエポックあたりの速度が SL より速くなることがある。
• SFL はクライアント数が増えると FL よりも通信効率が改善され、SL に近い水準になる。
• 二つの DP/プライバシー機構（クライアント側 DP と PixelDP）を SFL に組み込むことでプライバシーと頑健性を向上させ、収束と精度に測定可能な影響を与える。
• 複数のデータセットとアーキテクチャにおいて、FL はしばしば高い性能を示す一方で、SFL は SL と同等の精度を達成しつつ並列性の利点を提供する。
• SFLV2 はいくつかの設定で集中型トレーニングの精度に近づくまたは一致する可能性があり、SFLV1 はプライバシー強化を備えたまま類似の性能を提供する。