[論文レビュー] Training Latency Minimization for Model-Splitting Allowed Federated Edge Learning

Wen Yao, Guopeng Zhang+2 more|arXiv (Cornell University)|Jul 21, 2023

Privacy-Preserving Technologies in DataComputer Science被引用数 3

ひとこと要約

本稿では、カット層選択とサーバー側計算リソース割り当てを共同最適化することで、トレーニング遅延を最小化する、モデル分割を許容するフェデレーテッドエッジ学習（SFL）フレームワークを提案する。回帰ベースの変換と交互最適化アルゴリズムを用いることで、EfficientNetV2とMNISTを用いた実験において、FedAvgと同等のテスト精度を維持しつつ、トレーニング遅延を57%削減した。

ABSTRACT

To alleviate the shortage of computing power faced by clients in training deep neural networks (DNNs) using federated learning (FL), we leverage the edge computing and split learning to propose a model-splitting allowed FL (SFL) framework, with the aim to minimize the training latency without loss of test accuracy. Under the synchronized global update setting, the latency to complete a round of global training is determined by the maximum latency for the clients to complete a local training session. Therefore, the training latency minimization problem (TLMP) is modelled as a minimizing-maximum problem. To solve this mixed integer nonlinear programming problem, we first propose a regression method to fit the quantitative-relationship between the cut-layer and other parameters of an AI-model, and thus, transform the TLMP into a continuous problem. Considering that the two subproblems involved in the TLMP, namely, the cut-layer selection problem for the clients and the computing resource allocation problem for the parameter-server are relative independence, an alternate-optimization-based algorithm with polynomial time complexity is developed to obtain a high-quality solution to the TLMP. Extensive experiments are performed on a popular DNN-model EfficientNetV2 using dataset MNIST, and the results verify the validity and improved performance of the proposed SFL framework.

研究の動機と目的

• クライアントの計算能力が限られていることとモデルの複雑さが増すことに起因する、フェデレーテッド学習における高いトレーニング遅延の課題に対処すること。
• スプリット学習における最適なカット層選択のための離散的で高次元の解空間を克服するため、カット層とモデルパラメータの間の定量的関係をモデル化すること。
• 異種クライアント間でのワークロードをバランスさせ、同期されたグローバルトレーニングラウンドにおけるボトルネックを最小化するために、サーバー側の計算リソース割り当てを最適化すること。
• テスト精度を損なわずに、同期グローバルモデル更新（SGMU）設定下での全体のトレーニング遅延を最小化すること。
• 実用的に、混合整数非線形プログラミング（MINLP）問題を解くための効率的で多項式時間のアルゴリズムを開発すること。

提案手法

• カット層位置と主要なモデルパラメータ（例：レイヤー数、パラメータ数、FLOPs）との間の定量的関係をモデル化する回帰手法を提案し、離散的なカット層選択を連続最適化問題に変換する。
• トレーニング遅延最小化問題（TLMP）を、遅延が最も遅いクライアントがローカルトレーニングを完了するまでに依存する最大最小問題として定式化する。
• TLMPを2つの独立した部分問題に分解する：クライアント向けのカット層選択とパラメータサーバー（PS）向けの計算リソース割り当てであり、交互最適化を可能にする。
• 多項式時間計算量を持つ、交互最適化に基づくアルゴリズムを設計し、反復的にカット層選択とリソース割り当てを改善することで収束を保証する。
• PSの高性能な計算能力を活用して、リソース制限のあるクライアントから計算をオフロードし、複数のサーバー側モデルを並列でトレーニングする。
• 回帰モデルを最適化フレームワークと統合し、大規模な離散的解空間におけるスケーラブルかつ効率的な解探索を可能にする。

Figure 1: The frameworks of FedAvg and SFL .

実験結果

リサーチクエスチョン

• RQ1 スプリット学習におけるカット層選択をどのように最適化すれば、トレーニング遅延を最小化しつつモデルの精度を維持できるか？
• RQ2 異種クライアント環境下で、パラメータサーバーでの計算リソース割り当てが、全体のトレーニング遅延に与える影響は何か？
• RQ3 離散的カット層選択問題の連続的近似は、フェデレーテッドエッジ学習における効率的かつスケーラブルな最適化を可能にするか？
• RQ4 同期グローバルアップデート下で、提案フレームワークはFedAvgと比較して、トレーニング遅延とテスト精度の点でどのように異なるか？
• RQ5 サーバー側計算リソースを増加させることによるトレーニング遅延低減の限界効果は何か？どこでリターンの逓減が現れるか？

主な発見

• 提案されたSFLフレームワークは、FedAvgと比較してトレーニング遅延を57%削減した。同じ環境下で、SFLは1ラウンドを410秒で完了したのに対し、FedAvgは980秒を要した。
• 交互最適化アルゴリズムは約5イテレーションで安定解に収束し、低コストの計算負荷と高速な収束を示した。
• サーバー側計算リソースが100 G FLOPsから2,000 G FLOPsに増加するに従い、トレーニング遅延は顕著に減少するが、それ以上の増加では改善の割合が低下し、限界効果が現れる。
• SFLでトレーニングされたEfficientNetV2モデルのテスト精度は、60ラウンド後に0.90に達し、FedAvgと同等の精度を達成しており、モデル性能の損失がないことが確認された。
• 回帰ベースの変換により、カット層位置と計算・通信コストとの関係が効果的にモデル化され、従来の離散空間における連続的最適化が可能になった。
• 最適なカット層とリソース割り当てを動的に割り当てることで、クライアント間での効率的な負荷分散が実現され、最も遅いクライアントに起因するボトルネックが解消された。

Figure 2: The workflow of the SFL .