[論文レビュー] Federated Learning in Mobile Edge Computing: An Edge-Learning Perspective for Beyond 5G

Shashank Jere, Qiang Fan+3 more|arXiv (Cornell University)|Jul 15, 2020

Privacy-Preserving Technologies in Data参考文献 13被引用数 8

ひとこと要約

本稿では、Beyond 5Gネットワークにおけるエッジコンピューティング支援型フェデレーテッドラーニングフレームワークを提案し、強化学習を用いた動的リソース割り当てと、データ豊富なIoTデバイスを優先する貪欲なデバイス選択アルゴリズムにより、通信効率とモデル精度を共同最適化する。このフレームワークは、リソース制約下でもトレーニング遅延を顕著に低減し、グローバルモデルの精度を向上させる。

ABSTRACT

Owing to the large volume of sensed data from the enormous number of IoT devices in operation today, centralized machine learning algorithms operating on such data incur an unbearable training time, and thus cannot satisfy the requirements of delay-sensitive inference applications. By provisioning computing resources at the network edge, Mobile Edge Computing (MEC) has become a promising technology capable of collaborating with distributed IoT devices to facilitate federated learning, and thus realize real-time training. However, considering the large volume of sensed data and the limited resources of both edge servers and IoT devices, it is challenging to ensure the training efficiency and accuracy of delay-sensitive training tasks. Thus, in this paper, we design a novel edge computing-assisted federated learning framework, in which the communication constraints between IoT devices and edge servers and the effect of various IoT devices on the training accuracy are taken into account. On one hand, we employ machine learning methods to dynamically configure the communication resources in real-time to accelerate the interactions between IoT devices and edge servers, thus improving the training efficiency of federated learning. On the other hand, as various IoT devices have different training datasets which have varying influence on the accuracy of the global model derived at the edge server, an IoT device selection scheme is designed to improve the training accuracy under the resource constraints at edge servers. Extensive simulations have been conducted to demonstrate the performance of the introduced edge computing-assisted federated learning framework.

研究の動機と目的

• 遅延に敏感なIoTアプリケーションにおけるフェデレーテッドラーニングにおける高い通信遅延と限られたエッジサーバリソースの課題に対処する。
• リアルタイムのチャネル状態に応じて無線通信リソースを動的に割り当てることで、フェデレーテッドラーニングのトレーニング効率を向上させる。
• エッジサーバの計算およびストレージ容量制限下で、品質の高いおよび大容量のローカルデータセットを持つIoTデバイスを選択することで、グローバルモデル精度を向上させる。
• リソース制約のあるモバイルエッジコンピューティング環境において、トレーニング速度、モデル精度、デバイスのエネルギー効率のバランスをとる。

提案手法

• フェデレーテッドラーニングにおけるトレーニング遅延を最小化するために、強化学習に基づくアルゴリズムを用いて、IoTデバイスとエッジサーバ間の通信リソース（例：無線リソース）を動的に設定する。
• ローカルデータセットのサイズとグローバルモデル精度への寄与可能性に基づいてデバイスを優先順位付けする貪欲なIoTデバイス選択方式を設計する。
• 分散デバイス間でのトレーニングを調整するために、デバイス選択とリソース割り当てメカニズムを統合した統一されたエッジコンピューティング支援型フェデレーテッドラーニングフレームワークを統合する。
• 時間変動する無線チャネル状態をモデル化し、公平性と信頼性を確保するためのサービス品質（QoS）制約を組み込む。
• 選択されたデバイスからのローカルモデル更新を統合するために、エッジサーバで集中型アグリゲーションモデルを用いる。
• エッジサーバ容量制限および通信遅延制約の下で、リソース割り当てとデバイス選択の最適化問題を定式化する。

実験結果

リサーチクエスチョン

• RQ1 制限された無線リソースを有する動的無線環境において、フェデレーテッドラーニングの通信遅延をどのように最小化できるか？
• RQ2 エッジサーバの計算およびストレージ容量が制限される状況で、グローバルモデル精度を最大化するデバイス選択戦略は何か？
• RQ3 モバイルエッジコンピューティングの統合は、IoTアプリケーションにおけるフェデレーテッドラーニングのスケーラビリティと効率性をどのように向上させるか？
• RQ4 リソース制約のあるフェデレーテッドラーニングシステムにおいて、トレーニング速度、モデル精度、デバイス参加の間にはどのようなトレードオフが存在するか？

主な発見

• 提案された強化学習に基づく通信リソース割り当てにより、時間変動するチャネル状態に動的に適応することで、トレーニング遅延が低減した。
• 参加デバイス数が増加する際、貪欲なデバイス選択アルゴリズムは、Best-SINR手法に比べて合計センシングデータ寄与量において優れた性能を示した。
• デバイス数が少ない場合には、貪欲アルゴリズムとBest-SINR手法の両方が類似したデータ寄与量を達成するが、デバイス数が増加するにつれて貪欲手法の優位性が維持された。
• 貪欲アルゴリズムは、より大容量かつ情報量の多いローカルデータセットを持つデバイスを優先することで、1トレーニングラウンドあたりのモデル更新品質を向上させ、より高いグローバルモデル精度を達成した。
• エッジサーバの容量制限下でも、本フレームワークはトレーニング効率と精度の両方を向上させ、リアルタイムで遅延に敏感なアプリケーションへの有効性を検証した。
• シミュレーションにより、提案フレームワークが動的かつ多様なIoT環境下で、通信コスト、遅延、モデル精度のバランスを効果的にとれていることが確認された。