[論文レビュー] Split Learning over Wireless Networks: Parallel Design and Resource Management

Wen Wu, Mushu Li+7 more|arXiv (Cornell University)|Apr 18, 2022

Indoor and Outdoor Localization Technologies被引用数 9

ひとこと要約

本稿では、クラスタ内でのデバイス側モデルの並列学習とその後のクラスタ間の逐次学習を可能にする、新しいフレームワークであるクラスタベース並列スプリット学習（CPSL）を提案する。2段階時間スケールのリソース管理アルゴリズムにより、カットレイヤー選択、デバイスクラスタリング、無線周波数割り当てを共同最適化することで、ベンチマークと比較して1ラウンドあたりの学習遅延を最大80.1%まで削減し、非IIDデータ上でもモデルの精度を維持する。

ABSTRACT

Split learning (SL) is a collaborative learning framework, which can train an artificial intelligence (AI) model between a device and an edge server by splitting the AI model into a device-side model and a server-side model at a cut layer. The existing SL approach conducts the training process sequentially across devices, which incurs significant training latency especially when the number of devices is large. In this paper, we design a novel SL scheme to reduce the training latency, named Cluster-based Parallel SL (CPSL) which conducts model training in a "first-parallel-then-sequential" manner. Specifically, the CPSL is to partition devices into several clusters, parallelly train device-side models in each cluster and aggregate them, and then sequentially train the whole AI model across clusters, thereby parallelizing the training process and reducing training latency. Furthermore, we propose a resource management algorithm to minimize the training latency of CPSL considering device heterogeneity and network dynamics in wireless networks. This is achieved by stochastically optimizing the cut layer selection, real-time device clustering, and radio spectrum allocation. The proposed two-timescale algorithm can jointly make the cut layer selection decision in a large timescale and device clustering and radio spectrum allocation decisions in a small timescale. Extensive simulation results on non-independent and identically distributed data demonstrate that the proposed solutions can greatly reduce the training latency as compared with the existing SL benchmarks, while adapting to network dynamics.

研究の動機と目的

• 大規模なIoT展開におけるスプリット学習（SL）フレームワークの高遅延問題を解決すること。
• デバイスクラスタリングによる並列性を導入することで、無線ネットワークにおける学習遅延を低減しつつ、モデルの精度を維持すること。
• デバイスの非均質性とネットワークの動的変化を踏まえ、カットレイヤー選択、デバイスクラスタリング、無線周波数割り当てを共同最適化する2段階時間スケールのリソース管理アルゴリズムを設計すること。
• 非IIDデータおよび現実的な無線環境下でのCPSLおよびそのリソース管理アルゴリズムの性能を評価すること。

提案手法

• CPSLはデバイスをクラスタに分割し、各クラスタ内でデバイス側モデルの並列学習を可能にした後、クラスタ間で逐次学習を実行する。
• 全体の遅延を低減しつつモデル収束を維持するため、「まず並列、次に逐次」の学習戦略を採用する。
• 2段階時間スケールのリソース管理アルゴリズムを提案：長期的カットレイヤー選択と短期的デバイスクラスタリングおよび周波数割り当て。
• ラプラシアンに基づくアプローチを用いて意思決定を確率的に最適化し、遅延とシステム制約のバランスを取る。
• リアルタイムでのデバイスの計算能力およびチャネル状態に応じて、デバイスクラスタリングを動的に調整する。
• 各時隙間に応じて無線周波数割り当てを最適化し、学習遅延を最小化するとともに、スローガー効果を軽減する。

実験結果

リサーチクエスチョン

• RQ1 無線ネットワークにおける多数のデバイスへのスケーリングに伴い、スプリット学習の学習遅延をどのように低減できるか？
• RQ2 クラスタリングされた並列SLフレームワークにおいて、通信オーバーヘッド、計算負荷、学習遅延の最適なトレードオフは何か？
• RQ3 CPSLにおいて、デバイスの非均質性と動的変化する無線チャネル状態をどのように統合的に管理し、学習遅延を最小化できるか？
• RQ4 CPSLにおけるカットレイヤー選択が、学習遅延とモデル精度に与える影響は何か？
• RQ5 提案された2段階時間スケールのリソース管理アルゴリズムは、ヒューリスティックおよびランダムクラスタリング戦略と比較して、遅延低減にどの程度有効か？

主な発見

• 同じ条件下で、従来のSLは13.90秒、FLは33.43秒であるのに対し、提案されたCPSLは1ラウンドあたり3.78秒まで遅延を低減した。
• 1クラスタあたり5台のデバイスを採用した場合、CPSLは最小の学習遅延を達成し、遅延低減のための最適クラスタサイズであることが示された。
• 最適なカットレイヤー（POOL1）は、通信負荷と計算負荷のバランスを取ることで、1ラウンドあたりの学習遅延を最小化し、FLと比較して97.8%の通信オーバーヘッド低減を達成した。
• 提案されたリソース管理アルゴリズムは、ヒューリスティッククラスタリングベンチマークと比較して平均80.1%、ランダムクラスタリングと比較して56.9%の遅延低減を実現した。
• 周波数帯域制限がある状況（例：10 MHz）においても、性能向上が顕著に現れ、リソース制約下でのスローガー効果の軽減効果が明確に示された。
• MNISTおよびFashion-MNISTデータセットの両方において、CPSLを含むすべての手法がほぼ同一のモデル精度を達成しており、並列化による精度損失がないことが確認された。