[論文レビュー] Efficient Parallel Split Learning over Resource-constrained Wireless Edge Networks

Zheng Lin, Guangyu Zhu+5 more|arXiv (Cornell University)|Mar 26, 2023

Privacy-Preserving Technologies in Data被引用数 6

ひとこと要約

本稿では、最後の層の勾配集約を用いてサーバー側の計算負荷を低減し、クライントラブルのトレーニングを並列化することで、リソース制約のある無線エッジネットワークにおける分散トレーニングを高速化する、新しいフレームワークである効率的並列スプリット学習（EPSL）を提案する。シミュレーション結果から、非最適化ベースラインと比較して、EPSLは1ラウンドあたりのトレーニング遅延を最大50％まで短縮しており、サブチャネル割り当て、電力制御、カット層選択の共同最適化による顕著な向上が得られている。

ABSTRACT

The increasingly deeper neural networks hinder the democratization of privacy-enhancing distributed learning, such as federated learning (FL), to resource-constrained devices. To overcome this challenge, in this paper, we advocate the integration of edge computing paradigm and parallel split learning (PSL), allowing multiple client devices to offload substantial training workloads to an edge server via layer-wise model split. By observing that existing PSL schemes incur excessive training latency and large volume of data transmissions, we propose an innovative PSL framework, namely, efficient parallel split learning (EPSL), to accelerate model training. To be specific, EPSL parallelizes client-side model training and reduces the dimension of local gradients for back propagation (BP) via last-layer gradient aggregation, leading to a significant reduction in server-side training and communication latency. Moreover, by considering the heterogeneous channel conditions and computing capabilities at client devices, we jointly optimize subchannel allocation, power control, and cut layer selection to minimize the per-round latency. Simulation results show that the proposed EPSL framework significantly decreases the training latency needed to achieve a target accuracy compared with the state-of-the-art benchmarks, and the tailored resource management and layer split strategy can considerably reduce latency than the counterpart without optimization.

研究の動機と目的

• リソース制約のあるエッジデバイス向けに、既存のスプリット学習フレームワークにおける高いトレーニング遅延と通信オーバーヘッドを解消すること。
• 通常のスプリット学習および並列スプリット学習における順次トレーニングの制限と、過剰なデータ交換の課題を克服すること。
• サブチャネル割り当て、電力制御、カット層選択の共同最適化により、無線エッジネットワークにおける1ラウンドあたりのトレーニング遅延を最小化すること。
• 計算能力および帯域幅が限られたエッジデバイス上で、効率的かつプライバシー保護されたAIトレーニングを可能にすること。
• 動的無線チャネル状態およびデバイスの非均一性に強く、実用的で頑健なソリューションを開発すること。

提案手法

• レイヤー単位のモデル分割を用いて、大部分のトレーニングワークロードをエッジサーバーにオフロードする、並列スプリット学習フレームワークEPSLを提案する。
• 活性化関数の勾配次元を著しく低減することで、サーバー側の計算および通信オーバーヘッドを削減する、最後の層の勾配集約を導入する。
• 遅延最小化を目的とした、サブチャネル割り当て、電力制御、カット層選択の共同最適化を定式化した混合整数非線形プログラミング問題を提示する。
• ブロック座標降下（BCD）を用いて、複雑な最適化問題を4つの部分問題に分解し、効率的な解法を実現する。
• 遅延の高いデバイス（ストラグラー）を優先するグリーディなサブチャネル割り当て戦略を実装し、全体のシステム遅延を改善する。
• トレーニング中に固定されたレイヤー分割意思決定を採用することで、安定性を確保し、再最適化のオーバーヘッドを低減する。これはチャネル変動下でも頑健であることが実証済み。

実験結果

リサーチクエスチョン

• RQ1 並列クライントラブルトレーニングと、最後の層の集約による勾配次元の低減は、スプリット学習におけるトレーニング遅延を顕著に短縮できるか？
• RQ2 サブチャネル割り当て、電力制御、カット層選択の共同最適化は、無線エッジネットワークにおける1ラウンドあたりの遅延にどのように影響を与えるか？
• RQ3 本稿で提案するリソース管理戦略は、非最適化ベースラインと比較して、非均一なデバイスおよびチャネル環境下でどの程度優れているか？
• RQ4 トレーニング中における動的無線チャネル変動に対して、EPSLフレームワークはどの程度頑健か？
• RQ5 遅延低減に寄与する要因として、カット層選択の貢献度と電力制御・サブチャネル割り当ての相対的な寄与度はどの程度か？

主な発見

• 同じシステム条件下で、非最適化ベースラインと比較して、提案されたEPSLフレームワークは1ラウンドあたりのトレーニング遅延を約50％短縮している。
• サブチャネル割り当て、電力制御、カット層選択の共同最適化は、単一のコンponentを最適化するのとは比較にならないほど顕著な遅延低減をもたらす。
• 全帯域幅を増加させるとトレーニング遅延が低下し、特に高帯域幅環境では、最適化済みと非最適化の性能差が広がる。これはストラグルマージンの改善によるものである。
• サーバーの計算能力が高くなるほどトレーニング遅延は低下し、特にサーバー能力が高くなると、電力制御とサブチャネル割り当ての利点が顕著に増大する。
• 動的無線チャネル環境下でもフレームワークは頑健であり、チャネルゲインがラウンドごとに変動しても、性能劣化は最小限に抑えられる。
• 特に高能力な環境下では、カット層選択の最適化が電力制御やサブチャネル割り当ての最適化よりも、遅延低減に寄与度が大きい。