[論文レビュー] Splitfed learning without client-side synchronization: Analyzing client-side split network portion size to overall performance

Praveen Joshi, Chandra Thapa+4 more|arXiv (Cornell University)|Sep 19, 2021

Privacy-Preserving Technologies in Data参考文献 11被引用数 11

ひとこと要約

本稿では、通信および計算のオーバーヘッドを低減するため、クライント側のモデル同期を排除するSplitFed学習（SFL）の変種であるマルチヘッドスプリット学習（MHSL）を提案する。MNISTにおけるResNet-18を用いた実験では、MHSLはSFLと同等の性能を達成し、1%〜2%の精度低下にとどまり、さまざまなクライント側のスプリット構成においてもモデル精度にほとんど影響を与えない。

ABSTRACT

Federated Learning (FL), Split Learning (SL), and SplitFed Learning (SFL) are three recent developments in distributed machine learning that are gaining attention due to their ability to preserve the privacy of raw data. Thus, they are widely applicable in various domains where data is sensitive, such as large-scale medical image classification, internet-of-medical-things, and cross-organization phishing email detection. SFL is developed on the confluence point of FL and SL. It brings the best of FL and SL by providing parallel client-side machine learning model updates from the FL paradigm and a higher level of model privacy (while training) by splitting the model between the clients and server coming from SL. However, SFL has communication and computation overhead at the client-side due to the requirement of client-side model synchronization. For the resource-constrained client-side, removal of such requirements is required to gain efficiency in the learning. In this regard, this paper studies SFL without client-side model synchronization. The resulting architecture is known as Multi-head Split Learning. Our empirical studies considering the ResNet18 model on MNIST data under IID data distribution among distributed clients find that Multi-head Split Learning is feasible. Its performance is comparable to the SFL. Moreover, SFL provides only 1%-2% better accuracy than Multi-head Split Learning on the MNIST test set. To further strengthen our results, we study the Multi-head Split Learning with various client-side model portions and its impact on the overall performance. To this end, our results find a minimal impact on the overall performance of the model.

研究の動機と目的

• SplitFed学習（SFL）におけるクライント側のモデル同期によって引き起こされる高い通信および計算のオーバーヘッドを解消すること。
• クライント側での同期要件を排除することで、リソース制限のある環境における効率的なフェデレーテッドラーニングを可能にすること。
• クライント側の集約なしに分散的にスプリットモデルを学習する可能性を検証すること。
• クライント側のモデル部分のサイズを変化させた場合の、全体のモデル性能への影響を評価すること。
• クライントデバイスの能力に応じて動的にモデル分割を行う可能性を検討し、顕著な精度の低下を伴わずに実現できるかを調査すること。

提案手法

• SplitFed学習におけるクライント側のモデル集約および同期を排除する新しいアーキテクチャとして、マルチヘッドスプリット学習（MHSL）を提案する。
• ResNet-18モデルをクライント側とサーバー側の部分に分解し、クライント側の部分は最初の畳み込み層から開始する。
• クライント間での重み同期を一切行わず、並列に複数のクライント側モデルを独立して学習する。
• サーバー側のモデルは、勾配を集約して更新する一方で、クライントは自らのローカルなクライント側モデル部分を独立して更新する。
• 各クライントが独自のクライント側モデルヘッドを保持するマルチヘッド機構を実装し、クライント間の同期の必要性を排除する。
• ネットワーク内の異なるスプリットポイント（第1層から第9層まで）を対象に性能を評価し、モデル分割への感受性を検証する。

実験結果

リサーチクエスチョン

• RQ1 クライント側のモデル同期なしにSplitFed学習を効果的に行うことは可能か？
• RQ2 クライント側集約を排除した場合、MHSLの性能はSFLと比べてどの程度か？
• RQ3 クライント側モデル部分のサイズ（つまり、異なるスプリット層）を変化させた場合、全体のモデル精度にどのような影響があるか？
• RQ4 特に異なるモデル分割戦略を採用した場合、同期を排除することで顕著な性能低下が生じるか？
• RQ5 MHSLは、デバイスの能力に応じて動的にモデル層をクライントに割り当てることを可能にし、モデル性能を損なわずに実現できるか？

主な発見

• MHSLは実現可能であり、SFLと同等の性能を達成しており、MNISTデータセットではテスト精度が1%〜2%程度低下するにとどまる。
• MNISTにおいて、モデルが最初の層でスプリットされた場合、MHSLのテスト精度は97.23%であったのに対し、SFLのクライント側集約ありの場合は98.54%であった。
• 全テストスプリット層（L1からL9）において、MHSLは一貫した性能を維持し、テスト精度の変動は最小限に抑えられ、96.71%から97.19%の範囲に収束した。
• すべてのスプリットポイントにおいてSFLはわずかにMHSLより高い性能を示したが、差は1.5%以内に留まり、性能への影響は顕著でない。
• クライント側の同期を排除しても、モデルの収束性および精度にほとんど影響がないことが実証された。これは、クライント側モデル部分のサイズが異なる場合でも同様に成立する。
• MHSLは、デバイスの能力に応じた動的なモデル分割を可能にし、異なるスプリット構成においても性能が安定していることが示された。