[論文レビュー] Adaptive Federated Learning in Resource Constrained Edge Computing Systems

Shiqiang Wang, Tiffany Tuor+5 more|arXiv (Cornell University)|Apr 14, 2018

Privacy-Preserving Technologies in Data参考文献 42被引用数 85

ひとこと要約

本論文は、非独立同分布データとリソース制約を伴うエッジノード上での勾配降下法に基づく連合学習を分析し、収束境界を導出し、リソース予算の下で損失を最小化するグローバル集約頻度をリアルタイムに適応選択するアルゴリズムを提案する。

ABSTRACT

Emerging technologies and applications including Internet of Things (IoT), social networking, and crowd-sourcing generate large amounts of data at the network edge. Machine learning models are often built from the collected data, to enable the detection, classification, and prediction of future events. Due to bandwidth, storage, and privacy concerns, it is often impractical to send all the data to a centralized location. In this paper, we consider the problem of learning model parameters from data distributed across multiple edge nodes, without sending raw data to a centralized place. Our focus is on a generic class of machine learning models that are trained using gradient-descent based approaches. We analyze the convergence bound of distributed gradient descent from a theoretical point of view, based on which we propose a control algorithm that determines the best trade-off between local update and global parameter aggregation to minimize the loss function under a given resource budget. The performance of the proposed algorithm is evaluated via extensive experiments with real datasets, both on a networked prototype system and in a larger-scale simulated environment. The experimentation results show that our proposed approach performs near to the optimum with various machine learning models and different data distributions.

研究の動機と目的

• 分散されたエッジデータから学習モデルのパラメータを推定するために、生データを中央に送信せずにする。
• 非i.i.d.データと集約間の複数回のローカル更新を組み込んだ勾配降下法ベースの連合学習の収束境界を理論的に導出する。
• システムダイナミクスとモデル特性に基づいてグローバル集約頻度をリアルタイムに適応させる制御アルゴリズムを開発する。
• 提案手法を実データセットとハードウェアプロトタイプおよびシミュレーションを用いて評価し、ほぼ最適な性能を示すことを明らかにする。

提案手法

• ローカル更新と周期的なグローバル集約を伴う勾配降下法ベースの連合学習フレームワークを定式化する。
• 非i.i.d.データ分布と集約間の複数のローカル更新（tau）を組み込んだ収束境界を導出する。
• 複数のリソース予算（Mタイプ）下で最終損失を最小化するリソース認識最適化問題を定義する。
• データ分布、システムダイナミクス、およびモデル特性を学習してtauと総反復回数Tを適応させる制御アルゴリズムを提案する。
• 理論的結果を用いてリソース制約下の最適化問題の近似解を求め、その後、実データセットとプロトタイプで経験的検証を行う。

実験結果

リサーチクエスチョン

• RQ1 エdgeノード間で非-i.i.d.データが連合学習の分散勾配降下法の収束にどのように影響するか？
• RQ2 与えられたリソース予算の下でトレーニング損失を最小化するためのグローバル集約の最適頻度はどれか？
• RQ3 リアルタイム制御アルゴリズムは、さまざまなモデルとデータ分布に対して近似最適な学習性能へと集約頻度を適応できるか？
• RQ4 集約間のローカル更新ステップは全体の収束とリソース利用にどのような影響を与えるか？

主な発見

• 本論文は、非-i.i.d.データと任意のローカル更新回数を持つ分散勾配降下法の新たな収束境界を提供する。
• リソース予算を固定したまま、グローバル集約頻度をリアルタイムで適応させて学習損失を最小化する制御アルゴリズムを提案する。
• 実データセットでの広範な実験は、異なるモデル、分布、システム構成にわたってこのアプローチがほぼ最適な性能を達成することを示す。
• このフレームワークは、複数のリソースタイプ（例：時間、エネルギー、帯域幅）と各アップデートコストを考慮してトレーニング効率を最適化する。