[論文レビュー] Energy Efficient Federated Learning in Integrated Fog-Cloud Computing Enabled Internet-of-Things Networks

Mohammed S. Al-Abiad, Md. Zoheb Hassan+1 more|arXiv (Cornell University)|Jul 7, 2021

Privacy-Preserving Technologies in Data参考文献 34被引用数 5

ひとこと要約

本稿は、統合型フォグ・クラウド IoT ネットワークにおけるエネルギー効率の良いフェデレーテッドラーニング（FL）フレームワークを、2つのトレーニングシナリオ（IoTデバイスでのローカルモデルトレーニングとフォグアクセスポイント（F-APs）でのローカルトレーニング）を想定し、デバイススケジューリング、電力割り当て、計算周波数の共同最適化によって提案する。主な発見は、大規模な IoT デプロイでデータ量が多い場合、F-AP にオフロードするのではなく、IoT デバイスでローカルにトレーニングする方がエネルギー効率が良いことである。これは、固定された FL 時間制約下で総エネルギー消費量を最小化するための、干渉を表現するための衝突グラフに基づく反復的最適化によって達成される。

ABSTRACT

We investigate resource allocation scheme to reduce the energy consumption of federated learning (FL) in the integrated fog-cloud computing enabled Internet-of-things (IoT) networks. In the envisioned system, IoT devices are connected with the centralized cloud server (CS) via multiple fog access points (F-APs). We consider two different scenarios for training the local models. In the first scenario, local models are trained at the IoT devices and the F-APs upload the local model parameters to the CS. In the second scenario, local models are trained at the F-APs based on the collected data from the IoT devices and the F-APs collaborate with the CS for updating the model parameters. Our objective is to minimize the overall energy-consumption of both scenarios subject to FL time constraint. Towards this goal, we devise a joint optimization of scheduling of IoT devices with the F-APs, transmit power allocation, computation frequency allocation at the devices and F-APs and decouple it into two subproblems. In the first subproblem, we optimize the IoT device scheduling and power allocation, while in the second subproblem, we optimize the computation frequency allocation. For each scenario, we develop a conflict graph based solution to iteratively solve the two subproblems. Simulation results show that the proposed two schemes achieve a considerable performance gain in terms of the energy consumption minimization. The presented simulation results interestingly reveal that for a large number of IoT devices and large data sizes, it is more energy efficient to train the local models at the IoT devices instead of the F-APs.

研究の動機と目的

• 統合型フォッグ・クラウドコンピューティングを活用するインターネット・オブ・シングス（IoT）ネットワークにおけるフェデレーテッドラーニング（FL）のエネルギー消費を低減すること。
• フォッグまたはクラウドインfraにタスクをオフロードする際の、通信と計算のエネルギー消費コストのトレードオフを解消すること。
• 厳密な FL 時間制約下で、リソース割り当て（スケジューリング、送信電力、計算周波数）を最適化すること。
• 大規模な IoT デプロイにおいて、IoT デバイスでのローカルモデルトレーニングと F-AP でのトレーニングのエネルギー効率を比較すること。
• グラフ理論を用いた、複雑な共同最適化問題を分解して解くスケーラブルな反復的ソリューションの開発

提案手法

• 2つのシナリオ（1）IoT デバイスでのローカルモデルトレーニング、（2）F-AP でのローカルトレーニング）における総エネルギー消費量を最小化する共同最適化問題を定式化する。
• 問題を2つの部分問題に分解する：（1）IoT デバイスのスケジューリングと電力割り当て、（2）デバイスおよび F-AP における計算周波数割り当て。
• IoT デバイスおよび F-AP 間の干渉とスケジューリング制約を表現するために、衝突グラフモデリングを用いる。
• グラフカラーイングと電力制御に基づく反復的アルゴリズムを用いて、分散的かつスケーラブルな方法で部分問題を解く。
• QoS および時間制約下で、電力および周波数割り当て部分問題を解くために凸最適化技術を適用する。
• 収束するまで、スケジューリング、電力、周波数意思決定を段階的に改善するための分離戦略を採用する。

実験結果

リサーチクエスチョン

• RQ1 フォッグ・クラウド IoT ネットワークにおいて、IoT デバイスでのローカル FL トレーニングが F-AP でのトレーニングよりもエネルギー効率が良いのはどのような条件下か？
• RQ2 デバイススケジューリング、送信電力、計算周波数の共同最適化により、固定された FL 時間制約を満たしつつ、総エネルギー消費量を最小化する方法は何か？
• RQ3 データサイズおよび IoT デバイス数の増加が、フォッグ・クラウドアーキテクチャにおける FL のエネルギー効率に与える影響は何か？
• RQ4 提案された衝突グラフに基づく反復的手法は、固定またはベンチマーク手法と比較して、エネルギー効率および時間効率においてどのように差をつけるか？
• RQ5 計算周波数の適応は、FL トレーニング時間を著しく延長することなく、エネルギー消費を顕著に削減できるか？

主な発見

• 大規模な IoT デバイス数と高いデータサイズが想定される状況では、F-AP にオフロードするのではなく、IoT デバイスでローカルにモデルをトレーニングする方がエネルギー効率が高く、オフロードの利点を仮定する一般的な仮定とは逆の結果が得られた。
• 特に高計算負荷および高データ負荷下では、固定、電力のみ、CPU 僅令のベースライン手法と比較して、提案手法はエネルギー消費を顕著に低減した。
• 提案手法は、FL トレーニング時間のわずかな増加でエネルギー消費を顕著に削減でき、エネルギーと時間のトレードオフが良好であることが示された。
• 提案手法のエネルギー消費は、CPU サイクル数の増加に伴い僅かに増加する一方、最大周波数を固定した手法ではエネルギー消費が急激に上昇した。
• FL 時間は、特にモデルパラメータサイズが小さい場合、送信時間よりも計算時間に支配的である。
• データサイズが増加するに従い、提案手法と電力のみの手法との性能差が拡大した。これは、オフロードが中心の状況で送信エネルギー消費が増加するためである。