[論文レビュー] Accelerating DNN Training in Wireless Federated Edge Learning Systems

Jinke Ren, Guanding Yu+1 more|arXiv (Cornell University)|May 23, 2019

Privacy-Preserving Technologies in Data参考文献 32被引用数 10

ひとこと要約

本稿では、無線フェデレーテッドエッジ学習（FEEL）システムにおけるDNN学習の高速化を目的として、バッチサイズ選択と通信リソース割り当てを統合するフレームワークを提案する。新たな学習効率指標を導入し、凸最適化問題を解くことで、学習時間を短縮するとともに精度を向上させる閉形式の解を導出しており、CPUおよびGPU環境下での広範な実験により性能が検証されている。

ABSTRACT

Training task in classical machine learning models, such as deep neural networks, is generally implemented at a remote cloud center for centralized learning, which is typically time-consuming and resource-hungry. It also incurs serious privacy issue and long communication latency since a large amount of data are transmitted to the centralized node. To overcome these shortcomings, we consider a newly-emerged framework, namely federated edge learning, to aggregate local learning updates at the network edge in lieu of users' raw data. Aiming at accelerating the training process, we first define a novel performance evaluation criterion, called learning efficiency. We then formulate a training acceleration optimization problem in the CPU scenario, where each user device is equipped with CPU. The closed-form expressions for joint batchsize selection and communication resource allocation are developed and some insightful results are highlighted. Further, we extend our learning framework to the GPU scenario. The optimal solution in this scenario is manifested to have the similar structure as that of the CPU scenario, recommending that our proposed algorithm is applicable in more general systems. Finally, extensive experiments validate the theoretical analysis and demonstrate that the proposed algorithm can reduce the training time and improve the learning accuracy simultaneously.

研究の動機と目的

• 無線ネットワークにおける集中型クラウドベースのDNN学習における高い通信遅延とプライバシーリスクを解決すること。
• リソース制約下でのシステム全体のパフォーマンス最適化により、フェデレーテッドエッジ学習（FEEL）におけるDNN学習の高速化を図ること。
• 学習速度とモデル精度を統合的に評価できる新たなパフォーマンス指標、学習効率を導入すること。
• CPUおよびGPU対応エッジデバイスにおけるバッチサイズ選択および上行リンク時間／リソース割り当ての閉形式解を導出すること。
• 理論的枠組みの妥当性を、学習時間の短縮と収束性の向上を示す広範なシミュレーションにより検証すること。

提案手法

• グローバル損失の減少とエンドツーエンドの遅延のバランスを取る新たな学習効率指標を用いて、学習加速最適化問題を定式化する。
• カールシュ＝クーン＝タッカー（KKT）条件を用いて、最適なバッチサイズ選択および上行リンク時間割り当ての閉形式表現を導出する。
• デバイスのメモリ制約、通信帯域幅、総学習時間の制約をモデル化することで、実現可能性を保証する。
• CPUベースの解をGPU環境に拡張し、提案アルゴリズムの構造的類似性と広範な適用可能性を示す。
• 凸最適化技術を用いて問題を効率的に解き、動的無線環境におけるリアルタイム導入を可能にする。
• 提案手法とベースライン戦略を比較するシミュレーションにより、学習時間と精度の観点から手法の有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 FEELシステムにおいて、学習速度とモデル精度の両方をバランスさせる統一的指標として、学習効率をどのように定義できるか？
• RQ2 CPUベースのFEELシステムにおいて、学習時間を最小化するためのバッチサイズと通信リソースの最適な共同割り当ては何か？
• RQ3 提案された最適化フレームワークは、GPUアクセceleratedエッジデバイスにどのように一般化できるか？
• RQ4 同等のリソース割り当ておよび無限メモリ条件下での最適学習効率の理論的上限は何か？
• RQ5 システムがオンライン学習（バッチサイズ=1）またはフルバッチ学習（バッチサイズ=max）の動作領域にいるのはどのような条件下か？

主な発見

• 広範なシミュレーションにより、提案アルゴリズムが学習時間を顕著に短縮するとともに、学習精度を向上させることを実証した。
• 最適なバッチサイズ選択ポリシーが閉形式で導出され、その値がデバイス固有の計算速度、チャネル利得、遅延制約に依存することを示した。
• 最適な上行リンク時間割り当てにより、全デバイスが総フレーム時間内にモデル集約に寄与するよう保証され、無駄なスロットや過剰なリソース使用を回避した。
• CPUとGPUの両環境において解の構造が一貫しており、異種エッジデバイスへの広範な適用可能性を示している。
• 最適学習効率の理論的上限が導出され、最適値が等比率リソース割り当ての上界と無限メモリ条件の下界の間にあることが明らかになった。
• 解析により、データ制限領域（データ転送が性能を制限する領域）におけるバッチサイズでは、学習効率が最適でないことが判明した。この領域では、バッチサイズを増大させることで損失の減少が向上するが、遅延は増加しない。