[論文レビュー] HFEL: Joint Edge Association and Resource Allocation for Cost-Efficient Hierarchical Federated Edge Learning

Siqi Luo, Xu Chen+3 more|arXiv (Cornell University)|Feb 26, 2020

Privacy-Preserving Technologies in Data参考文献 26被引用数 14

ひとこと要約

本稿では、エネルギーおよび遅延の観点から訓練コストを最小化するため、エッジ接続とリソース割り当てを統合最適化する階層型フェデレーテッドエッジ学習（HFEL）フレームワークを提案する。問題をエッジサーバーごとのリソース割り当てと反復的エッジ接続調整に分解することで、従来のFLと比較して顕著なコスト削減とモデル精度の向上を達成する。

ABSTRACT

Federated Learning (FL) has been proposed as an appealing approach to handle data privacy issue of mobile devices compared to conventional machine learning at the remote cloud with raw user data uploading. By leveraging edge servers as intermediaries to perform partial model aggregation in proximity and relieve core network transmission overhead, it enables great potentials in low-latency and energy-efficient FL. Hence we introduce a novel Hierarchical Federated Edge Learning (HFEL) framework in which model aggregation is partially migrated to edge servers from the cloud. We further formulate a joint computation and communication resource allocation and edge association problem for device users under HFEL framework to achieve global cost minimization. To solve the problem, we propose an efficient resource scheduling algorithm in the HFEL framework. It can be decomposed into two subproblems: \emph{resource allocation} given a scheduled set of devices for each edge server and \emph{edge association} of device users across all the edge servers. With the optimal policy of the convex resource allocation subproblem for a set of devices under a single edge server, an efficient edge association strategy can be achieved through iterative global cost reduction adjustment process, which is shown to converge to a stable system point. Extensive performance evaluations demonstrate that our HFEL framework outperforms the proposed benchmarks in global cost saving and achieves better training performance compared to conventional federated learning.

研究の動機と目的

• 頻繁なクラウドベースのモデル集約に起因する従来のフェデレーテッドラーニングにおける通信およびエネルギー消費の高さを解消すること。
• クラウドから近接するエッジサーバーに部分的モデル集約を移行させることで、ネットワーク混雑を軽減し、学習遅延を短縮すること。
• デバイスおよびエッジサーバー間の計算および通信リソース割り当ての共同最適化問題を定式化し、グローバル訓練コストを最小化すること。
• 反復的にエッジ接続とリソース割り当てを改善することで安定的かつコスト効率の良いシステム状態に収束する効率的なアルゴリズムを設計すること。
• エッジ中継機器を用いないベースラインフェデレーテッドラーニングと比較して、より優れた学習性能と低いグローバルコストを達成すること。

提案手法

• エッジサーバーが部分的モデル集約を実行する階層型フェデレーテッドエッジラーニング（HFEL）フレームワークを提案し、WANトラフィックと遅延を削減する。
• グローバル訓練コスト（エネルギー＋遅延）を最小化するため、デバイスリソース割り当てとエッジ接続の共同最適化問題を定式化する。
• 問題を2つの部分問題に分解する：(1) デバイス集合が与えられたもとでのエッジサーバーごとの最適リソース割り当て、(2) グローバルコスト削減による反復的エッジ接続調整。
• ラグランジュ緩和とKKT条件から導かれる最適ポリシーを用いて、凸リソース割り当て部分問題を解く。
• 反復的グローバルコスト削減アルゴリズムを適用し、デバイス-エッジ接続を調整することで、安定したシステム点への収束を保証する。
• 複数のエッジサーバーにまたがるデバイススケジューリングとリソース割り当ての結合性を扱うために、デュアル分解手法を用いる。

実験結果

リサーチクエスチョン

• RQ1 階層型フェデレーテッドエッジラーニングにおいて、エッジ接続とリソース割り当てをどのように共同最適化することで訓練コストを最小化できるか。
• RQ2 エッジサーバーの近接性とデバイス接続が、FLにおける通信遅延およびエネルギー消費に与える影響は何か。
• RQ3 分解ベースのアルゴリズムは、HFELにおいて安定的かつコスト効率の良いシステム点への収束を達成できるか。
• RQ4 HFELは、従来のフェデレーテッドラーニングと比較して、訓練コスト、精度、収束速度の観点でどのように異なるか。
• RQ5 エッジ支援型FLにおいて、デバイス接続密度と1デバイスあたりの通信リソースの可用性の間にはどのようなトレードオフがあるか。

主な発見

• HFELは、モデル集約をエッジサーバーにオフロードすることで、従来のフェデレーテッドラーニングと比較してグローバル訓練コストを顕著に削減する。
• 反復的コスト削減を通じて、提案アルゴリズムは安定したシステム点に収束し、実用的導入の可能性を保証する。
• ベースラインFLと比較して、HFELはより高いグローバルおよびテスト精度、低い訓練損失を達成し、モデル性能の向上を示している。
• エッジ接続とリソース割り当ての共同最適化により、エネルギー消費と訓練遅延の両方で顕著な削減が達成された。
• 広範な評価から、HFELは現実のネットワークおよびデバイス制約下でも、コスト効率および学習性能の面でベンチマーク手法を上回ることが確認された。
• 本フレームワークは、計算能力、バッテリー状態、データ品質の面でのデバイスの非均一性に対しても効果的に対処でき、スケーラブルでコスト効率の良いFLを実現する。