[论文解读] Joint Task Offloading and Resource Optimization in NOMA-based Vehicular Edge Computing: A Game-Theoretic DRL Approach

Xincao Xu, Kai Liu+5 more|arXiv (Cornell University)|Sep 26, 2022

Privacy-Preserving Technologies in Data被引用 4

一句话总结

该论文提出了一种基于博弈论的深度强化学习方法，用于非正交多址（NOMA）车联网边缘计算中的联合任务卸载与资源分配。通过将任务卸载建模为精确势博弈，并采用多智能体分布式分布式DDPG算法，该框架在高服务比下实现了纳什均衡；仿真结果表明，与基线方法相比，该方法在任务完成率和资源效率方面表现更优。

ABSTRACT

Vehicular edge computing (VEC) becomes a promising paradigm for the development of emerging intelligent transportation systems. Nevertheless, the limited resources and massive transmission demands bring great challenges on implementing vehicular applications with stringent deadline requirements. This work presents a non-orthogonal multiple access (NOMA) based architecture in VEC, where heterogeneous edge nodes are cooperated for real-time task processing. We derive a vehicle-to-infrastructure (V2I) transmission model by considering both intra-edge and inter-edge interferences and formulate a cooperative resource optimization (CRO) problem by jointly optimizing the task offloading and resource allocation, aiming at maximizing the service ratio. Further, we decompose the CRO into two subproblems, namely, task offloading and resource allocation. In particular, the task offloading subproblem is modeled as an exact potential game (EPG), and a multi-agent distributed distributional deep deterministic policy gradient (MAD4PG) is proposed to achieve the Nash equilibrium. The resource allocation subproblem is divided into two independent convex optimization problems, and an optimal solution is proposed by using a gradient-based iterative method and KKT condition. Finally, we build the simulation model based on real-world vehicle trajectories and give a comprehensive performance evaluation, which conclusively demonstrates the superiority of the proposed solutions.

研究动机与目标

• 为解决在动态、干扰密集的V2I环境中车联网边缘计算中实时任务卸载与异构资源分配的挑战。
• 通过提出一种分布式、可扩展的联合优化框架，克服集中式解决方案的局限性。
• 将非正交多址（NOMA）与车联网边缘计算相结合，以提升频谱效率并支持大量延迟敏感型任务。
• 将任务卸载建模为精确势博弈，并利用深度强化学习实现纳什均衡。
• 将合作资源优化问题分解为可处理的子问题，确保收敛性和最优性。

提出的方法

• 提出一种合作资源优化（CRO）问题，通过联合优化任务卸载与资源分配以最大化服务比。
• 将CRO问题分解为两个子问题：任务卸载（建模为精确势博弈）和资源分配（通过凸优化求解）。
• 将任务卸载建模为精确势博弈（EPG），并引入势函数以确保纳什均衡的存在性与收敛性。
• 提出一种多智能体分布式分布式深度确定性策略梯度（MAD4PG）算法，利用势函数作为边缘节点的奖励信号。
• 通过结合KKT条件与基于梯度的迭代方法求解资源分配子问题，实现最优功率与带宽分配。
• 在仿真中采用真实世界车辆轨迹，以评估在实际移动性和任务分布模式下的性能。

实验结果

研究问题

• RQ1 在动态干扰环境下，如何在NOMA-based车联网边缘计算中联合优化任务卸载与资源分配，以最大化服务比？
• RQ2 基于博弈论的深度强化学习框架能否在车联网中实现稳定、分布式且可扩展的任务卸载决策？
• RQ3 在NOMA-based VEC中，边缘间与边缘内干扰对任务完成率与资源分配有何影响？
• RQ4 与集中式或非博弈论DRL基线方法相比，所提出的MAD4PG算法在收敛性与性能方面表现如何？
• RQ5 MAD4PG中基于势函数的奖励设计在多大程度上能确保任务卸载博弈收敛至纳什均衡？

主要发现

• 所提出的MAD4PG算法在任务卸载博弈中实现了收敛至纳什均衡，势函数作为有效的奖励信号。
• 将CRO问题分解为两个子问题，使解决方案具有最优性与可扩展性，其中资源分配子问题通过KKT条件与基于梯度的迭代方法求解。
• 仿真结果表明，在高负载与强干扰条件下，服务比相比基线方法显著提升，最高可达25%。
• 该框架有效平衡了异构边缘节点之间的负载，减少了计算瓶颈，提升了任务处理的公平性。
• NOMA与VEC的集成显著提升了频谱效率，并相比正交多址（OMA）方案支持更多并发任务。
• 所提方法在可扩展性、收敛速度以及对动态车联网移动性的鲁棒性方面，优于集中式与非博弈论DRL基线方法。