[論文レビュー] Have Your Cake and Eat It Too: Toward Efficient and Accurate Split Federated Learning

Dengke Yan, Hu Ming+5 more|arXiv (Cornell University)|Nov 22, 2023

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

本稿では、デバイスの能力に応じた動的モデル分割とデータバランスに基づく学習メカニズムを導入することで、AIoTシステムにおける効率性と精度を向上させる、S²FLと呼ばれる新しいスプリットフェデレーテッドラーニングフレームワークを提案する。デバイスの能力に応じてモデル部分を動的に割り当て、ラベルごとに特徴量を再結合することで近似IIDsなデータ分布を確保することで、スローガー効果を低減し、クライアントドリフトを緩和する。S²FLは、従来のSFLと比較して、インフェレンス精度が最大16.5%向上し、学習速度が3.54倍に向上する。

ABSTRACT

Due to its advantages in resource constraint scenarios, Split Federated Learning (SFL) is promising in AIoT systems. However, due to data heterogeneity and stragglers, SFL suffers from the challenges of low inference accuracy and low efficiency. To address these issues, this paper presents a novel SFL approach, named Sliding Split Federated Learning (S$^2$FL), which adopts an adaptive sliding model split strategy and a data balance-based training mechanism. By dynamically dispatching different model portions to AIoT devices according to their computing capability, S$^2$FL can alleviate the low training efficiency caused by stragglers. By combining features uploaded by devices with different data distributions to generate multiple larger batches with a uniform distribution for back-propagation, S$^2$FL can alleviate the performance degradation caused by data heterogeneity. Experimental results demonstrate that, compared to conventional SFL, S$^2$FL can achieve up to 16.5\% inference accuracy improvement and 3.54X training acceleration.

研究の動機と目的

• データの非IID性と非均一な分布が原因で生じるスプリットフェデレーテッドラーニング（SFL）における低インフェレンス精度を是正すること。
• 計算能力と通信速度のデバイス非均一性に起因するスローガー問題を軽減することで、SFLにおける学習効率を向上させること。
• プライバシーを損なわず、リソース制限のあるAIoTデバイス上でも効率的で正確かつスケーラブルなモデル学習が可能なフレームワークを設計すること。
• 適応的モデル分割とデータに配慮した特徴量グループ化をSFLに統合し、収束性とモデル一般化性能を向上させること。

提案手法

• S²FLは、グローバルモデルをサーバーサイド、共有、クライアントサイドの3つの部分に分割することで、柔軟かつ適応的なデプロイメントを可能にする。
• 適応的スライディングモデル分割戦略により、デバイスの計算能力（FLOPs）と通信帯域幅に応じてモデル部分を割り当て、デバイス間の学習時間をバランスさせる。
• データバランスに基づく学習メカニズムにより、デバイスからの中間特徴量をラベルごとに再結合し、サーバーサイドモデル部分の学習に適した均一なバッチを形成する。
• 複数のサーバーサイドモデルのコピーを、こうしたラベルバランスの取れた特徴量グループ上で学習させることで、非IIDデータによる性能劣化を低減する。
• サーバーサイドモデルからの勾配をクライアントデバイスに送信し、ローカル更新を実行する。クライアントサイドモデル部分は、フェデレーテッドサーバーを介して集約され、新しいグローバルクライアントサイドモデルが形成される。
• 本フレームワークは、主サーバー上でラベル情報を活用することで、ラベルに配慮した特徴量グループ化を実現し、生データを露呈させることなく一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 SFLにおけるスローガー効果を低減するために、モデル分割をデバイス固有の能力に動的に適応することはどのように可能か？
• RQ2 AIoTデバイスにおけるデータの非均一性がSFL性能に及ぼす影響はどの程度であり、特徴量の再編成によってどのように緩和できるか？
• RQ3 適応的モデル分割とデータバランス特徴量グループ化を組み合わせたハイブリッド学習戦略は、SFLにおける精度と効率の両面を向上させ得るか？
• RQ4 異なるFLOPsと通信レートを有する多様なデバイス構成下でも、S²FLはどのように性能を発揮するか？
• RQ5 適応的スライディングモデル分割戦略とデータバランスに基づく学習メカニズムの、全体的な性能向上に及ぼす相対的寄与度はどの程度か？

主な発見

• S²FLは、非IIDデータ環境下で従来のSFLと比較し、最大16.5%高いインフェレンス精度を達成する。
• データスケューのパラメータa=0.5の場合、S²FLはSFLと比較して学習時間を3.54倍短縮し、通信オーバーヘッドを2.57倍低減する。
• アブレーションスタディの結果、適応的スライディングモデル分割戦略とデータバランスに基づく学習メカニズムは、それぞれ独立して性能向上をもたらし、S²FL+MBの完全な構成が最高の精度と最速の収束を達成することが確認された。
• 参加デバイス数が5から20に増加するに従い、S²FLは常にベースラインを上回り、強固でスケーラブルであることが示された。
• 特に低FLOPおよび低帯域幅デバイスの割合が高い非均一なデバイス構成下でも、S²FLはSFLと比較してより速い収束と高い精度を維持する。
• データバランスに基づくメカニズムは、非IIDデータの影響を軽減することでテスト精度を向上させる一方、適応的分割戦略はスローガー遅延を最小限に抑えることで学習を加速する。