[論文レビュー] Joint Task Offloading and Resource Optimization in NOMA-based Vehicular Edge Computing: A Game-Theoretic DRL Approach

Xincao Xu, Kai Liu+5 more|arXiv (Cornell University)|Sep 26, 2022

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

本稿では、NOMAベースの車両エッジコンピューティングにおける共同タスクオフロードとリソース割り当てのためのゲーム理論的深層強化学習手法を提案する。タスクオフロードを正確なポテンシャルゲームとしてモデル化し、マルチエージェント分散型分布的DDPGアルゴリズムを用いることで、高いサービス比を達成するナッシュ均衡に到達する。シミュレーション結果は、ベースライン手法に比べてタスク完了およびリソース効率の両面で優れた性能を示している。

ABSTRACT

Vehicular edge computing (VEC) becomes a promising paradigm for the development of emerging intelligent transportation systems. Nevertheless, the limited resources and massive transmission demands bring great challenges on implementing vehicular applications with stringent deadline requirements. This work presents a non-orthogonal multiple access (NOMA) based architecture in VEC, where heterogeneous edge nodes are cooperated for real-time task processing. We derive a vehicle-to-infrastructure (V2I) transmission model by considering both intra-edge and inter-edge interferences and formulate a cooperative resource optimization (CRO) problem by jointly optimizing the task offloading and resource allocation, aiming at maximizing the service ratio. Further, we decompose the CRO into two subproblems, namely, task offloading and resource allocation. In particular, the task offloading subproblem is modeled as an exact potential game (EPG), and a multi-agent distributed distributional deep deterministic policy gradient (MAD4PG) is proposed to achieve the Nash equilibrium. The resource allocation subproblem is divided into two independent convex optimization problems, and an optimal solution is proposed by using a gradient-based iterative method and KKT condition. Finally, we build the simulation model based on real-world vehicle trajectories and give a comprehensive performance evaluation, which conclusively demonstrates the superiority of the proposed solutions.

研究の動機と目的

• 動的で干渉の大きいV2I環境下におけるリアルタイムのタスクオフロードと異種リソース割り当ての課題に対処すること。
• 中央集権的ソリューションの限界を克服し、共同最適化のための分散型でスケーラブルなフレームワークを提案すること。
• 非直交多重アクセス（NOMA）を車両エッジコンピューティングと統合し、スペクトル効率を向上させ、多数の遅延に敏感なタスクをサポートすること。
• タスクオフロードを正確なポテンシャルゲームとしてモデル化し、深層強化学習を用いてナッシュ均衡を達成すること。
• 協調的リソース最適化問題を、収束性と最適性が保証された解ける部分問題に分解すること。

提案手法

• サービス比を最大化するために、タスクオフロードとリソース割り当てを共同最適化する協調的リソース最適化（CRO）問題を定式化する。
• CRO問題を2つの部分問題に分解する：タスクオフロード（正確なポテンシャルゲームとしてモデル化）とリソース割り当て（凸最適化により解決）。
• ナッシュ均衡への存在と収束を保証するポテンシャル関数を備えた正確なポテンシャルゲーム（EPG）としてタスクオフロードをモデル化する。
• エッジノードの報酬信号としてポテンシャル関数を用いるマルチエージェント分散型分布的深層決定性ポリシー勾配（MAD4PG）アルゴリズムを提案する。
• KKT条件と勾配ベースの反復手法を組み合わせることで、最適なパワーと帯域幅割り当てを達成するリソース割り当て部分問題を解く。
• 実際の車両の移動軌跡をシミュレーションに用い、現実の移動性およびタスク分布パターン下での性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 動的干渉環境下で、NOMAベースの車両エッジコンピューティングにおけるタスクオフロードとリソース割り当てをどのように共同最適化すれば、サービス比を最大化できるか？
• RQ2 ゲーム理論的深層強化学習フレームワークは、車両ネットワークにおいて安定的で分散的かつスケーラブルなタスクオフロード意思決定を達成できるか？
• RQ3 NOMAベースのVECにおけるエッジ間およびエッジ内干渉は、タスク完了およびリソース割り当てにどのような影響を及ぼすか？
• RQ4 MAD4PGアルゴリズムは、中央集権的または非ゲーム理論的DRLベースラインと比較して、収束性および性能面でどのように差をつけるか？
• RQ5 MAD4PGにおけるポテンシャル関数に基づく報酬設計は、タスクオフロードゲームにおけるナッシュ均衡への収束をどの程度保証するか？

主な発見

• 提案されたMAD4PGアルゴリズムは、タスクオフロードゲームにおいてナッシュ均衡への収束を達成し、ポテンシャル関数が効果的な報酬信号として機能している。
• CRO問題の2つの部分問題への分解により、最適かつスケーラブルな解決策が可能となり、リソース割り当て部分問題はKKT条件と勾配ベースの反復法により解かれた。
• シミュレーション結果は、高負荷および高干渉環境下で、ベースライン手法に比べてサービス比が最大25%も向上していることを示している。
• フレームワークは異種エッジノード間での負荷分散を効果的に実現し、計算のボトル neck を軽減し、タスク処理の公平性を向上させている。
• NOMAとVECの統合により、従来の直交多重アクセス（OMA）方式と比較して、スペクトル効率が向上し、より多くの同時タスク処理が可能になっている。
• スケーラビリティ、収束速度、動的車両移動性へのロバストネスの面で、中央集権的および非ゲーム理論的DRLベースラインを上回る性能を発揮している。