[論文レビュー] DMRO:A Deep Meta Reinforcement Learning-based Task Offloading Framework for Edge-Cloud Computing

Guanjin Qu, Huaming Wu|arXiv (Cornell University)|Aug 23, 2020

IoT and Edge/Fog Computing参考文献 106被引用数 8

ひとこと要約

本稿では、エッジ・クラウドコンピューティングにおけるタスクオフロードのための深層メタ強化学習フレームワークであるDMROを提案する。DMROは、深層Q学習とメタラーニングを組み合わせることで、迅速かつ適応的なオフロード意思決定を実現する。転送可能な初期ネットワークパラメータを学習することで、DMROは動的かつ変化しやすいIoT環境において高速な収束と優れた性能を達成し、DQNや従来のオフロード方式を上回り、重み付き遅延とエネルギー消費量を最小化する。

ABSTRACT

With the continuous growth of mobile data and the unprecedented demand for computing power, resource-constrained edge devices cannot effectively meet the requirements of Internet of Things (IoT) applications and Deep Neural Network (DNN) computing. As a distributed computing paradigm, edge offloading that migrates complex tasks from IoT devices to edge-cloud servers can break through the resource limitation of IoT devices, reduce the computing burden and improve the efficiency of task processing. However, the problem of optimal offloading decision-making is NP-hard, traditional optimization methods are difficult to achieve results efficiently. Besides, there are still some shortcomings in existing deep learning methods, e.g., the slow learning speed and the failure of the original network parameters when the environment changes. To tackle these challenges, we propose a Deep Meta Reinforcement Learning-based offloading (DMRO) algorithm, which combines multiple parallel DNNs with Q-learning to make fine-grained offloading decisions. By aggregating the perceptive ability of deep learning, the decision-making ability of reinforcement learning, and the rapid environment learning ability of meta-learning, it is possible to quickly and flexibly obtain the optimal offloading strategy from the IoT environment. Simulation results demonstrate that the proposed algorithm achieves obvious improvement over the Deep Q-Learning algorithm and has strong portability in making real-time offloading decisions even in time-varying IoT environments.

研究の動機と目的

• 動的かつ変化しやすいIoTエッジクラウド環境における深層強化学習の学習速度の遅さとポータビリティの低さという課題に対処すること。
• 依存関係のあるタスクを伴う異種コンピューティング環境において、タスクオフロード遅延とエネルギー消費量を最小化すること。
• MEC環境の変化に伴い、オフロード方針の迅速な適応を可能にし、再訓練のオーバーヘッドを低減すること。
• リソース制限のあるIoTデバイスに適したスケーラブルでリアルタイムなオフロード意思決定フレームワークを設計すること。

提案手法

• フレームワークは、IoTデバイス、エッジ、クラウドサーバー間のオフロード意思決定をモデル化するため、マルチエージェント深層Qネットワーク（DQN）アーキテクチャを採用する。
• 多様な環境条件に一般化可能な初期ニューラルネットワークパラメータを学習するために、メタラーニングを統合する。
• メタラーナーはDQNポリシーネットワークの初期化を最適化し、新しい環境で最小限のデータで迅速なファインチューニングを可能にする。
• システムは、遅延とエネルギー消費量のバランスを取る多目的最適化問題としてタスクオフロードをモデル化する。
• 重み付きコスト関数が遅延とエネルギー消費量を組み合わせており、アプリケーション固有の優先順位を反映するために重みを調整可能である。
• 訓練の安定化のため、経験リプレイとターゲットネットワークを用い、複数のシミュレーテッド環境におけるメタトレーニングによってフレームワークを訓練する。

実験結果

リサーチクエスチョン

• RQ1 メタラーニングは、動的エッジクラウドオフロード環境における深層強化学習の一般化性能と適応速度を向上させるか？
• RQ2 環境の変化に伴って、提案されたDMROフレームワークは、DQNのような従来のDRL手法と比較して収束速度と性能に優れているか？
• RQ3 DMROフレームワークは、ローカルオンリー、エッジオンリー、クラウドオンリーのオフロード戦略と比較して、合計オフロードコスト（遅延＋エネルギー）をどの程度低減できるか？
• RQ4 メタラーニングで得た初期化は、環境変化時に迅速な収束を実現するのにどの程度有効か？
• RQ5 環境の変化後に、最小限の再訓練で低コストのオフロード意思決定を維持できるか？

主な発見

• DMROは、遅延とエネルギー消費量の重み比に関わらず、すべてのテスト条件下で最小の合計コストを達成し、DQN、ローカルオンリー、エッジオンリー、クラウドオンリーの各戦略を上回る。
• 標準的なランダム初期化と比較して、メタラーニングで得たモデルは著しく高速に収束し、20ステップ未満で安定した性能に達する。
• 動的環境下では、メタ初期化を施したDMROモデルがたった40～80ステップの訓練で低コスト解に到達し、優れた適応性を示している。
• 時間経過とともに、メタ初期化モデルとランダム初期化モデルの性能差が拡大する傾向にあり、メタラーニングによる迅速な適応の優位性が裏付けられている。
• エネルギー消費量の重みが上昇すると、ローカル実行のコストが急激に上昇するため、モデルのエネルギー効率への感受性が裏付けられた。
• フレームワークは高いポータビリティを示し、完全な再トレーニングなしに新しいまたは変化したMEC環境への迅速な展開が可能である。