[論文レビュー] Cost-Effective Federated Learning in Mobile Edge Networks

Bing Luo, Xiang Li+3 more|arXiv (Cornell University)|Sep 12, 2021

Privacy-Preserving Technologies in Data参考文献 44被引用数 6

ひとこと要約

本稿では、学習時間とエネルギー消費をバランスさせるために、選択されたクライアント数（K）と局所学習イテレーション数（E）を共同で最適化することで、モバイルエッジネットワークにおけるコスト効率の高いフェデレーテッドラーニングフレームワークを提案する。合計コストを最小化するための解析的関係を導出し、未知の収束パラメータを推定する低コストのサンプリングベースのアルゴリズムを構築した。このアルゴリズムは、多様なデータセットとシステム設定において近似的最適性能を達成する。

ABSTRACT

Federated learning (FL) is a distributed learning paradigm that enables a large number of mobile devices to collaboratively learn a model under the coordination of a central server without sharing their raw data. Despite its practical efficiency and effectiveness, the iterative on-device learning process (e.g., local computations and global communications with the server) incurs a considerable cost in terms of learning time and energy consumption, which depends crucially on the number of selected clients and the number of local iterations in each training round. In this paper, we analyze how to design adaptive FL in mobile edge networks that optimally chooses these essential control variables to minimize the total cost while ensuring convergence. We establish the analytical relationship between the total cost and the control variables with the convergence upper bound. To efficiently solve the cost minimization problem, we develop a low-cost sampling-based algorithm to learn the convergence related unknown parameters. We derive important solution properties that effectively identify the design principles for different optimization metrics. Practically, we evaluate our theoretical results both in a simulated environment and on a hardware prototype. Experimental evidence verifies our derived properties and demonstrates that our proposed solution achieves near-optimal performance for different optimization metrics for various datasets and heterogeneous system and statistical settings.

研究の動機と目的

• モバイルエッジネットワークにおけるフェデレーテッドラーニング（FL）の高い計算コストと通信コストを低減すること。特に、デバイスの能力にばらつきがあり、チャネル状態が動的に変化する環境を想定する。
• 学習時間とエネルギー消費をバランスさせるために、選択されたクライアント数（K）と局所イテレーション数（E）を共同で最適化するコスト最小化問題を定式化する。
• 完全なシステム知識が得られない状況でも、未知の収束パラメータを推定可能な実用的で低コストのサンプリングベースのアルゴリズムを開発する。
• 異なる最適化指標（例：時間対エネルギーのトレードオフ）に対して、システムおよび統計的非均一性の変化に応じた解析的設計原則を確立する。
• シミュレーションとハードウェアプロトタイプを用いて理論的考察を検証し、多様なデータセットと構成において近似的最適性能を示す。

提案手法

• KとEに依存するフェデレーテッドラーニングの収束に対する解析的上界を導出し、コストモデリングを可能にする。
• 計算時間（t_m）、通信時間（t_p）、エネルギー消費（e_m, e_p）を組み合わせたコストモデルを提案し、好みパラメータγで重み付けする。
• 限られた観測から未知のシステムパラメータ（例：収束速度）を推定するためのサンプリングベースのアルゴリズムを導入し、オーバーヘッドを低減する。
• 期待総コスト関数の一次微分を分析することで、KとEの最適値を導出するための確率的最適化を用いる。
• 理論的結果を応用し、単調性の性質を導出：最適Kはt_pが増加すると増加し、t_m、e_m、e_pが増加すると減少する。
• 再順序化に基づく解析を用いて、最初に局所学習を完了するクライアントの期待時間を計算し、各ラウンドの時間推定を高精度で行う。

実験結果

リサーチクエスチョン

• RQ1 選択されたクライアント数（K）と局所イテレーション数（E）が、モバイルエッジネットワーク上でのフェデレーテッドラーニングにおける合計コストにどのように影響を与えるか？
• RQ2 能力やチャネル状態にばらつきのある非均一なモバイルエッジ環境において、学習時間とエネルギー消費の最適なトレードオフは何か？
• RQ3 完全なシステム知識が得られない状況でも、未知の収束関連パラメータをどのように効率的に推定できるか？
• RQ4 システムの非均一性（例：異なるデバイス能力やチャネル状態）が、KとEの最適設定にどのように影響を与えるか？
• RQ5 異なるコスト指標（例：時間のみ、エネルギーのみ、またはバランス型）のもとで、最適KとEの解析的性質は何か？

主な発見

• エネルギー消費コストが支配的である場合（γ = 1）、最適クライアント数K*は1となる。これは、エネルギー消費を最小化するには1ラウンドあたり1クライアントのみを選択することが好ましいことを示している。
• 混合目的（0 < γ < 1）では、K*はEの増加に伴い一時的に減少し、その後増加する。これは、通信コストと計算コストの間で非単調なトレードオフが存在することを示している。
• 最適E*はt_p（通信時間）が増加するにつれて増加し、e_p（通信あたりのエネルギー）が増加するにつれて減少する。これは、長時間の通信遅延がある環境では、より多くの局所イテレーションが好ましいことを示している。
• 最適K*はt_pとe_pが増加するにつれて増加し、t_mとe_mが増加するにつれて減少する。これは、局所計算が速いか、計算あたりのエネルギー消費が低い環境では、より多くのクライアントを同時に選択することが好ましいことを示している。
• γ = 0（時間最適化）のとき、最適E*はt_m / t_pに比例して増加し、γ = 1（エネルギー最適化）のとき、e_m / e_pに比例して増加する。これは、コスト指標が最適解の形状に与える影響を確認している。
• ハードウェアプロトタイプとシミュレーションの結果、理論モデルが妥当であることが検証され、提案アルゴリズムが複数のデータセットとシステム構成において近似的最適性能を達成している。