[論文レビュー] Offloading and Resource Allocation with General Task Graph in Mobile Edge Computing: A Deep Reinforcement Learning Approach

Yan Jia, Suzhi Bi+1 more|arXiv (Cornell University)|Feb 19, 2020

IoT and Edge/Fog Computing参考文献 29被引用数 7

ひとこと要約

本論文は、一般のタスクグラフを伴うモバイルエッジコンピューティングにおける共同オフロードおよびリソース割り当てのための深層強化学習（DRL）フレームワークを提案する。アクター・クリティック構造を採用し、エネルギー時間コスト（ETC）を評価する低複雑性のクリティックを活用することで、従来の最適化手法と比較して著しく計算複雑性を低減しながら、最適性能の最大99.1％を達成する。

ABSTRACT

In this paper, we consider a mobile-edge computing system, where an access point assists a mobile device (MD) to execute an application consisting of multiple tasks following a general task call graph. The objective is to jointly determine the offloading decision of each task and the resource allocation under time-varying wireless fading channels and stochastic edge computing capability, so that the energy-time cost (ETC) of the MD is minimized. Solving the problem is particularly hard due to the combinatorial offloading decisions and the strong coupling among task executions under the general dependency model. Conventional numerical optimization methods are inefficient to solve such a problem, especially when the problem size is large. To address the issue, we propose a deep reinforcement learning (DRL) framework based on the actor-critic learning structure. In particular, the actor network utilizes a DNN to learn the optimal mapping from the input states to the binary offloading decision of each task. Meanwhile, by analyzing the structure of the optimal solution, we derive a low-complexity algorithm for the critic network to quickly evaluate the ETC performance of the offloading decisions output by the actor network. With the low-complexity critic network, we can quickly select the best offloading action and subsequently store the state-action pair in an experience replay memory as the training dataset to continuously improve the action generation DNN. To further reduce the complexity, we show that the optimal offloading decision exhibits an one-climb structure, which can be utilized to significantly reduce the search space of action generation. Numerical results show that for various types of task graphs, the proposed algorithm achieves up to $99.1\%$ of the optimal performance while significantly reducing the computational complexity compared to the existing optimization methods.

研究の動機と目的

• モバイルエッジコンピューティング（MEC）システムにおいて、時間変動する無線チャネルおよび確率的エッジコンピューティング能力を伴う共同オフロードおよびリソース割り当ての課題に対処すること。
• 複雑な依存関係を有する一般のタスクグラフとしてモデル化されたアプリケーションを実行するモバイルデバイスのエネルギー時間コスト（ETC）を最小化すること。
• 大規模または動的状況において非効率的で現実的でない従来の最適化手法の限界を克服すること。
• 最適解の構造的性質（例えば、ワンクライムポリシー）を活用して行動空間を縮小し、学習効率を向上させること。

提案手法

• 提案されたDRLフレームワークは、アクター・クリティックアーキテクチャを採用しており、アクターネットワークはシステム状態（チャネルゲインおよびCPU周波数）を入力として、深層ニューラルネットワーク（DNN）を用いて2値のオフロード意思決定を出力する。
• クリティックネットワークは、最適解の構造的分析から導出された低複雑性アルゴリズムを用い、オフロード意思決定のETC性能を迅速に評価する。
• フレームワークは、アクターが生成した状態・行動ペアと、クリティックが評価した結果を用いた経験再生を活用し、反復的にポリシーを改善する。
• 本手法は、デバイスとエッジ間で実行が最大1回のみ移行する「ワンクライム」性質を活用することで、オフロード行動の探索空間を著しく縮小する。
• クリティックの評価関数は計算的に効率的であるように設計されており、一般のタスクグラフに内在する複雑な依存関係にもかかわらず、リアルタイムでの学習および推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 動的無線状態下で、一般のタスクグラフに内在する組み合わせ的オフロード意思決定と強いタスク依存性のカップリングを、深層強化学習アプローチが効果的に処理できるか。
• RQ2 計算コストの高い最適化ソルバーよりも依存しない高速かつ正確なETC評価を実現するため、クリティックネットワークをどのように設計できるか。
• RQ3 最適オフロードポリシーにおけるワンクライム構造は、一般のタスクグラフに対しても成り立つのか。また、その性質を活用することで行動空間を縮小し、学習効率を向上させられるか。
• RQ4 従来の最適化手法と比較して、提案されたDRLフレームワークは、どれほど近最適なETC性能を達成しながらも、低計算複雑性を維持できるか。

主な発見

• 提案されたDRLフレームワークは、さまざまなタスクグラフタイプにおいて、最適ETC性能の最大99.1％を達成し、近最適性を実証した。
• 低複雑性のクリティックネットワークにより、オフロード意思決定の評価が高速化され、従来の数値最適化手法と比較して学習プロセスが著しく効率的になった。
• ワンクライムポリシーの性質を活用することで、オフロード行動の探索空間が縮小され、収束が加速し、サンプル効率が向上した。
• フレームワークは、動的チャネルおよびコンピューティング条件への適応性において、既存のヒューリスティック法および凸緩和ベースの手法を上回る性能を発揮した。