[論文レビュー] AdaptSFL: Adaptive Split Federated Learning in Resource-constrained Edge Networks

Zheng Lin, Guanqiao Qu+3 more|arXiv (Cornell University)|Mar 19, 2024

Privacy-Preserving Technologies in Data被引用数 9

ひとこと要約

AdaptSFLは、エッジ制約の下でトレーニングを加速するために、クライアント側のモデル集約頻度とモデル分割を同時に最適化するリソース適応型の分割連邦学習フレームワークを提供し、収束保証と実証的検証を実現します。

ABSTRACT

The increasing complexity of deep neural networks poses significant barriers to democratizing them to resource-limited edge devices. To address this challenge, split federated learning (SFL) has emerged as a promising solution by of floading the primary training workload to a server via model partitioning while enabling parallel training among edge devices. However, although system optimization substantially influences the performance of SFL under resource-constrained systems, the problem remains largely uncharted. In this paper, we provide a convergence analysis of SFL which quantifies the impact of model splitting (MS) and client-side model aggregation (MA) on the learning performance, serving as a theoretical foundation. Then, we propose AdaptSFL, a novel resource-adaptive SFL framework, to expedite SFL under resource-constrained edge computing systems. Specifically, AdaptSFL adaptively controls client-side MA and MS to balance communication-computing latency and training convergence. Extensive simulations across various datasets validate that our proposed AdaptSFL framework takes considerably less time to achieve a target accuracy than benchmarks, demonstrating the effectiveness of the proposed strategies.

研究の動機と目的

• 大規模な深層モデルとプライバシーの懸念により、リソース制約のあるエッジデバイスで効率的な学習が必要であることを動機づける。
• クライアントサイドのモデル集約とモデル分割を取り入れたSplit Federated Learning (SFL)の理論的収束解析を提供する。
• AdaptSFLを開発し、クライアントサイドの集約頻度と分割点を適応的に調整して、精度目標を満たすとともにトレーニングの待機時間を最小化する。
• MSとMAを共同で決定する最適化問題を定式化・解法し、データセットを横断するシミュレーションを通じて性能を検証する。

提案手法

• クライアントサイド MA および MS がトレーニング収束に与える影響を捉えたAdaptSFLの収束境界を導出する。
• ネットワークと計算資源の制約の下で、MSとクライアントサイド MA の結合最適化問題を定式化する。
• 結合問題を2つの扱いやすい部分問題に分解し、交互最適化アプローチを適用してほぼ最適解を得る。
• エッジデバイス・エッジサーバ・Fedサーバ間での活性化と勾配交換を含む、分割トレーニングと定期的なクライアントサイドMAを用いたAdaptSFLのワークフローを説明する。

実験結果

リサーチクエスチョン

• RQ1 リソース制約のあるエッジにおいて、クライアントサイドのモデル集約頻度とモデル分割がSplit Federated Learningの収束と待機時間にどのように影響するか？
• RQ2 MSとMAを考慮したSFLの収束保証を提供し、それを用いて通信コストと計算コストの最適なバランスをとれるか？
• RQ3 ターゲット精度を達成しつつトレーニング時間を最小化するために、結合MSとMAの最適化を効果的に解くアルゴリズムは何か？
• RQ4 多様なデータセットに対して、目標精度までの時間という観点でAdaptSFLがベンチマークと比較してどのように性能を示すか？

主な発見

• AdaptSFLは、クライアントサイドMAとMSがトレーニング性能に与える影響を特徴づける収束境界を与える。
• MSとMAの結合最適化問題を定式化し、2つのサブ問題へ分解して交互最適化で解く。
• 提案されたフレームワークは、広範なシミュレーションにおいて、ベンチマークと比較して目標精度に達するまでのトレーニング時間を大幅に短縮する。
• 分析は、より頻繁なクライアントサイドMAと浅いカット層が収束を加速する一方、通信オーバーヘッドが増大するという代償を伴うことを示している。
• サーバーサイドの共通サブモデルは常に同期され、クライアントサイドのサブモデルはIラウンドごとに集約され、収束と待機時間の間のトレードオフを可能にする。