[論文レビュー] Server-Side Local Gradient Averaging and Learning Rate Acceleration for Scalable Split Learning

Shraman Pal, Mansi Uniyal+6 more|arXiv (Cornell University)|Dec 11, 2021

Privacy-Preserving Technologies in Data被引用数 12

ひとこと要約

本稿では、スレーブ層でのサーバー側局所勾配平均化（SplitAvg）と学習率分割（SplitLr）により、並列スプリット学習における主なボトル neck 問題を解決するスケーラブルなスプリット学習フレームワーク SGLR を提案する。SGLR は、サーバーで勾配を平均化し、クライアントとサーバーの学習率を分離することで、ベースラインの SL や SFL よりも高い精度を達成するとともに、SFL より最大 88.6%、FL より最大 95.5% の通信オーバーヘッド削減を実現し、エネルギーと通信コストが低いものの FL と同等の性能を発揮する。

ABSTRACT

In recent years, there have been great advances in the field of decentralized learning with private data. Federated learning (FL) and split learning (SL) are two spearheads possessing their pros and cons, and are suited for many user clients and large models, respectively. To enjoy both benefits, hybrid approaches such as SplitFed have emerged of late, yet their fundamentals have still been illusive. In this work, we first identify the fundamental bottlenecks of SL, and thereby propose a scalable SL framework, coined SGLR. The server under SGLR broadcasts a common gradient averaged at the split-layer, emulating FL without any additional communication across clients as opposed to SplitFed. Meanwhile, SGLR splits the learning rate into its server-side and client-side rates, and separately adjusts them to support many clients in parallel. Simulation results corroborate that SGLR achieves higher accuracy than other baseline SL methods including SplitFed, which is even on par with FL consuming higher energy and communication costs. As a secondary result, we observe greater reduction in leakage of sensitive information via mutual information using SLGR over the baselines.

研究の動機と目的

• 並列スプリット学習におけるスケーラビリティの制限、特にサーバー側の大きな有効バッチサイズとバックワードクライアント分離問題を解決すること。
• 追加の通信コストを負担せずに多数のクライアントで効率的かつスケーラブルな学習を可能にすること。
• 従来のスプリット学習およびハイブリッド FL-SL 方法と比較して、モデルの精度を向上させるとともに、情報漏洩を低減すること。
• 通信およびエネルギーのオーバーヘッドを顕著に削減しながら、フェデレーテッドラーニング（FL）と同等の性能を達成すること。

提案手法

• スプリット層でのクライアント勾配のサーバー側平均化を可能にする SplitAvg の導入：全クライアントに共通の勾配をマルチキャストブロードキャスト可能。
• クライアント側とサーバー側の成分に学習率を分離する SplitLr の提案：収束速度を個別に最適化可能。
• サーバーでの勾配平均化によりバックワードクライアント分離を解消し、全クライアントが集団的アップデートの恩恵を受けることを保証。
• 1 バッチあたり1回のブロードキャストで済む通信効率の高いアーキテクチャを採用し、クライアントごとのユニキャストを回避。
• 既存のスプリット学習パイプラインを活用しつつ、サーバー側の勾配集約と適応的学習率を強化。
• 合計通信量および学習時間の閉形式表現を用いて、通信オーバーヘッドと学習時間の分析を実施。

実験結果

リサーチクエスチョン

• RQ1 多数のクライアントにわたるスプリット学習を、通信コストを増加させることなくスケーラブルに実現する方法は何か？
• RQ2 サーバー側での勾配平均化が、並列スプリット学習におけるモデル収束とクライアント分離に与える影響は何か？
• RQ3 学習率分割により、大規模モデルを対象としたスプリット学習フレームワークにおける学習安定性と精度が向上するか？
• RQ4 SGLR は、精度、通信コスト、プライバシー漏洩の観点でフェデレーテッドラーニング（FL）と比較してどう異なるか？
• RQ5 従来のスプリット学習およびハイブリッド FL-SL 方法と比較して、SGLR の理論的通信および学習時間効率の向上はどの程度か？

主な発見

• 100 クライアントと AlexNet を想定した設定下で、SGLR は SFL より 88.6%、FL より 95.5% の通信オーバーヘッド削減を達成した。
• FL に比べて通信およびエネルギーコストが高かったにもかかわらず、SGLR は FL と同等の精度を達成した。
• モデルサイズが大きい場合、SGLR の学習時間は SL や SFL よりも一貫して短く、FL と同等の性能を示した。
• SGLR は、相互情報量の観点から、ベースラインの SL や SFL 方法と比較して、情報漏洩の低減が顕著に見られた。
• 効率的な勾配ブロードキャストと学習率分離により、多数のクライアントを並列でサポートする高いスケーラビリティを維持した。
• モデルサイズが大きく、ローカルデータが過剰に大きくない場合、通信効率の向上が最も顕著に現れた。