[論文レビュー] Task Allocation for Asynchronous Mobile Edge Learning with Delay and Energy Constraints

Umair Mohammad, Sameh Sorour+1 more|arXiv (Cornell University)|Nov 30, 2020

Age of Information Optimization被引用数 6

ひとこと要約

本稿では、厳密な遅延およびエネルギー制約下でエッジデバイス間でのモデル学習を最適化する、異種性に配慮した非同期タスク割り当て（HA-Asyn）方式を提案する。QCILPとして定式化された問題に対して2段階の「提案して改善する」アルゴリズムを用いることで、同期方式や等バッチ方式と比較して最大25%の高速な収束と高い精度を達成し、特にリソースが限られた環境下でも優れた性能を示す。

ABSTRACT

This paper extends the paradigm of "mobile edge learning (MEL)" by designing an optimal task allocation scheme for training a machine learning model in an asynchronous manner across mutiple edge nodes or learners connected via a resource-constrained wireless edge network. The optimization is done such that the portion of the task allotted to each learner is completed within a given global delay constraint and a local maximum energy consumption limit. The time and energy consumed are related directly to the heterogeneous communication and computational capabilities of the learners; i.e. the proposed model is heterogeneity aware (HA). Because the resulting optimization is an NP-hard quadratically-constrained integer linear program (QCILP), a two-step suggest-and-improve (SAI) solution is proposed based on using the solution of the relaxed synchronous problem to obtain the solution to the asynchronous problem. The proposed HA asynchronous (HA-Asyn) approach is compared against the HA synchronous (HA-Sync) scheme and the heterogeneity unaware (HU) equal batch allocation scheme. Results from a system of 20 learners tested for various completion time and energy consumption constraints show that the proposed HA-Asyn method works better than the HU synchronous/asynchronous (HU-Sync/Asyn) approach and can provide gains of up-to 25\\% compared to the HA-Sync scheme.

研究の動機と目的

• リソース制限のある無線エッジネットワークにおける機械学習モデルの効率的学習という課題に対処すること。
• 個々のデバイスの計算、通信、エネルギー制約を尊重しつつ、グローバルな遅延要件を満たすタスク割り当て方式を設計すること。
• 制御された陳腐化（staleness）を許容する非同期更新を可能にすることで、分散学習におけるモデルの精度と収束速度を向上させること。
• 現実のエッジ展開環境における制約下で、従来の同期方式および等バッチ方式を上回る性能を発揮すること。
• リソースの可用性に応じて非同期方式と同期方式の間で最適な選択を行う意思決定フレームワークを提供すること。

提案手法

• 遅延とエネルギー制約の両方をバランスさせるために、二次制約付き整数線形計画問題（QCILP）としてタスク割り当て問題を定式化する。
• 緩和された同期解を初期解として活用し、非同期解を段階的に改善する2段階の「提案して改善する」（SAI）アルゴリズムを導入する。
• 個々の通信および計算能力を組み込むことで、最適化フレームワークにデバイスの異種性を反映する。
• パラメータcを用いてモデルの陳腐化を制御し、学習者間の更新タイミング差を最大でcに制限する。
• 遅延（T）およびエネルギー（E）制約を変化させたシミュレーションにおいて、MNISTデータセットを広範に使用して性能を評価する。
• HA-Asyn方式を用いる際には、陳腐化cをハイパーパrameterとして、交差検証を実施する。

実験結果

リサーチクエスチョン

• RQ1 モバイルエッジラーニングにおけるタスク割り当てを最適化する方法は何か？ これは、グローバルな遅延制約と個々のエネルギー制約を満たすために必要である。
• RQ2 同期方式や等バッチ方式と比較して、非同期更新戦略を用いることで得られる性能向上はどの程度か？
• RQ3 デバイスの異種性は、エッジラーニングにおけるタスク割り当ての設計と有効性にどのように影響を与えるか？
• RQ4 収束速度と精度の観点から、非同期学習が同期学習を上回る条件は何か？
• RQ5 リソースの可用性に応じて、同期方式と非同期方式のタスク割り当ての最適な戦略は何か？

主な発見

• HA-Asyn方式は、T=25秒、E=20Jの条件下で97.3%の精度を達成する際、HA-Sync方式と比較して最大25%の高速な収束を達成し、学習時間を25秒短縮した。
• T=10秒、E=10Jの条件下では、HA-Asynは9回のグローバル更新で95%の精度に到達したが、HA-Syncは9回の更新でしか達成できず、学習時間は22.2%短縮された。
• T=20秒、E=10Jの条件下では、HA-Asynは6回の更新で95.4%の精度に到達したが、HA-Syncは94%に到達しなかった。
• E=20J、T=20秒の条件下では、c=1〜3のHA-Asynが97%の精度に到達したが、HA-Syncはこの性能に到達しなかった。
• 低エネルギーかつ中程度の遅延がかかる状況では、HA-Asynは最終的な検証精度において、HA-SyncおよびHU方式を常に上回った。
• HA-Sync方式は、中程度のリソース環境、あるいは両方のリソースが豊富な状況でのみ最良の性能を示し、特に97.2%という高い精度目標を達成する場合に顕著であった。