[論文レビュー] Revenue and Energy Efficiency-Driven Delay Constrained Computing Task Offloading and Resource Allocation in a Vehicular Edge Computing Network: A Deep Reinforcement Learning Approach

Xinyu Huang, Lijun He+3 more|arXiv (Cornell University)|Oct 16, 2020

IoT and Edge/Fog Computing参考文献 32被引用数 5

ひとこと要約

本稿では、マルチエージェントの深層決定的方策勾配法（JORA-MADDPG）を用いて、車両エッジコンピューティング（VEC）におけるタスクタイプと車両速度に配慮したオフロードおよびリソース割り当て戦略を提案する。遅延制約下でエネルギー効率性と収益性のバランスを取ることで、さまざまな速度と価格設定シナリオにおいて、ベースライン手法よりも低いタスク完了遅延と高いユーザーユーティリティを達成する。

ABSTRACT

For in-vehicle application,task type and vehicle state information, i.e., vehicle speed, bear a significant impact on the task delay requirement. However, the joint impact of task type and vehicle speed on the task delay constraint has not been studied, and this lack of study may cause a mismatch between the requirement of the task delay and allocated computation and wireless resources. In this paper, we propose a joint task type and vehicle speed-aware task offloading and resource allocation strategy to decrease the vehicl's energy cost for executing tasks and increase the revenue of the vehicle for processing tasks within the delay constraint. First, we establish the joint task type and vehicle speed-aware delay constraint model. Then, the delay, energy cost and revenue for task execution in the vehicular edge computing (VEC) server, local terminal and terminals of other vehicles are calculated. Based on the energy cost and revenue from task execution,the utility function of the vehicle is acquired. Next, we formulate a joint optimization of task offloading and resource allocation to maximize the utility level of the vehicles subject to the constraints of task delay, computation resources and wireless resources. To obtain a near-optimal solution of the formulated problem, a joint offloading and resource allocation based on the multi-agent deep deterministic policy gradient (JORA-MADDPG) algorithm is proposed to maximize the utility level of vehicles. Simulation results show that our algorithm can achieve superior performance in task completion delay, vehicles' energy cost and processing revenue.

研究の動機と目的

• 車両エッジコンピューティングにおけるタスクタイプと車両速度の共同的影響を遅延制約に組み込むモデルのギャップを埋める。
• 遅延、計算、無線リソース制約下で、エネルギーコストと処理収益のバランスを取るユーザーユーティリティ関数を定式化する。
• 動的VEC環境におけるユーザーユーティリティを最大化するための、タスクオフロードとリソース割り当ての共同最適化フレームワークを開発する。
• リアルタイムで文脈に応じた車両ネットワークにおいて近似的最適解を達成するため、マルチエージェント深層決定的方策勾配法（JORA-MADDPG）を設計する。
• 異なる車両速度とオフロード価格モデルの下で、提案手法の性能を評価し、耐障害性とスケーラビリティを検証する。

提案手法

• タスクタイプと車両速度を明示的に組み込んだ遅延制約モデルを確立し、実世界のアプリケーション要件を反映する。
• ローカル実行、VECサーバーへのオフロード、V2Vオフロードの3つのオプションについて、タスク完了遅延、エネルギー消費、処理収益をモデル化する。
• エネルギーコストの削減と他の車両のタスク処理による収益の両方を重み付き組み合わせとして定義した車両ユーザーユーティリティ関数を定義する。
• 遅延、計算、無線リソースの制約を含むマーカフ連鎖意思決定過程（MDP）として、共同オフロードとリソース割り当て問題を定式化する。
• 複数のエージェントが協調的にオフロード意思決定を学習できる、マルチエージェント深層決定的方策勾配法（JORA-MADDPG）を提案する。
• 非定常な車両環境における学習の安定化と収束性の向上を図るため、経験再生とターゲットネットワークを用いてJORA-MADDPGエージェントを訓練する。

実験結果

リサーチクエスチョン

• RQ1 タスクタイプと車両速度の共同的考慮が、車両エッジコンピューティングにおける遅延制約にどのように影響するか？
• RQ2 動的車両移動性下で、タスクオフロード意思決定におけるエネルギー効率性と収益生成の最適なトレードオフは何か？
• RQ3 提案されたJORA-MADDPGアルゴリズムは、ベースライン手法（例：DDPG、グリーディ、AL、AO）と比較して、タスク完了遅延とユーザーユーティリティの観点でどのように異なるか？
• RQ4 オフロード単位価格が変化することで、提案アルゴリズムの遅延とユーザーユーティリティの性能にどのような影響が生じるか？
• RQ5 車両速度範囲が、V2Vベースのタスクオフロードの頻度と有効性、およびそれによるユーザーユーティリティに与える影響は何か？

主な発見

• JORA-MADDPGアルゴリズムは、全テストシナリオにおいてAL、AO、RD、グリーディ、DDPGアルゴリズムと比較して、顕著に低い平均タスク完了遅延と高い平均ユーザーユーティリティを達成する。
• 車両速度範囲 [30, 80] km/h の間では、低速車両が高速車両のタスクを効率的に処理できるV2Vオフロードの機会が増加するため、平均ユーザーユーティリティが最も高くなる。
• VECサーバーへのオフロード単位価格が上昇するにつれて、アルゴリズムはV2V通信経由で他の車両にタスクをオフロードする傾向を示し、わずかな遅延増加を許容することで収益を増加させる。
• VECオフロード価格が低下するにつれて、アルゴリズムは遅延とエネルギー消費を低減する目的でVECサーバーへのオフロードにシフトするようになる。これは、価格に敏感な適応性を示している。
• アルゴリズムは、すべてのオフロード単位価格設定において優れた性能を維持しており、動的価格設定と移動状態への耐障害性と適応性を示している。
• エネルギーコストと収益に基づくユーザーユーティリティ関数により、持続可能性と経済的インcentiveの両方を高めるバランスの取れた最適化が可能になる。