[论文解读] Learning Based Task Offloading in Digital Twin Empowered Internet of Vehicles

Jinkai Zheng, Tom H. Luan+3 more|arXiv (Cornell University)|Dec 28, 2021

Privacy-Preserving Technologies in Data被引用 14

一句话总结

本文提出了一种基于数字孪生（DT）的强化学习框架，用于车联网（IoV）中的智能任务卸载，利用数字孪生技术预测未来的任务到达情况和无线信道状态。通过将卸载问题建模为马尔可夫决策过程（MDP），并采用深度强化学习（DRL），该系统最小化长期成本——在时延、能耗和云租赁成本之间实现平衡，实现了快速收敛和优于基线方法的性能表现。

ABSTRACT

Mobile edge computing has become an effective and fundamental paradigm for futuristic autonomous vehicles to offload computing tasks. However, due to the high mobility of vehicles, the dynamics of the wireless conditions, and the uncertainty of the arrival computing tasks, it is difficult for a single vehicle to determine the optimal offloading strategy. In this paper, we propose a Digital Twin (DT) empowered task offloading framework for Internet of Vehicles. As a software agent residing in the cloud, a DT can obtain both global network information by using communications among DTs, and historical information of a vehicle by using the communications within the twin. The global network information and historical vehicular information can significantly facilitate the offloading. In specific, to preserve the precious computing resource at different levels for most appropriate computing tasks, we integrate a learning scheme based on the prediction of futuristic computing tasks in DT. Accordingly, we model the offloading scheduling process as a Markov Decision Process (MDP) to minimize the long-term cost in terms of a trade off between task latency, energy consumption, and renting cost of clouds. Simulation results demonstrate that our algorithm can effectively find the optimal offloading strategy, as well as achieve the fast convergence speed and high performance, compared with other existing approaches.

研究动机与目标

• 解决高移动性IoV环境中因车辆缺乏全局网络可见性而导致的任务动态卸载挑战。
• 克服传统优化方法在高维、时变状态空间中的局限性，这些局限性源于移动性、MEC资源波动以及信道动态变化。
• 通过数字孪生技术预测未来任务到达和信道状态，实现资源的主动预留。
• 通过在任务时延、能耗和云租赁成本之间进行权衡，最小化长期系统成本。
• 利用在数字孪生中收集的全局和历史数据训练深度强化学习，开发可扩展、自适应的卸载策略。

提出的方法

• 为每辆车辆部署一个数字孪生（DT），通过实时物联网传感器数据维护一个同步更新的虚拟副本。
• 通过互连DT实现通信，交换全局网络信息（如道路状况、MEC服务器负载、信道状态等）。
• 集成一个基于长短期记忆网络（LSTM）的任务预测模块，利用过去5个时隙的任务到达率预测未来任务到达。
• 实施一个独立的RNN-based吞吐量预测模块（256个单元，历史长度为50个时隙），用于估计车辆到云和车辆到RSU链路的未来信道吞吐量。
• 将卸载决策问题建模为马尔可夫决策过程（MDP），其状态向量结合了当前系统状态、预测的任务到达率和预测的吞吐量。
• 应用深度Q网络（DQN）或类似DRL算法，使用复合状态向量训练演员-评论家网络，以优化长期成本最小化。

Figure 1 : Digital Twin empowered IoV framework.

实验结果

研究问题

• RQ1 数字孪生能否有效预测未来任务到达和信道状态，从而提升动态IoV环境中卸载决策的性能？
• RQ2 通过数字孪生集成全局网络信息和历史数据，与仅依赖本地决策相比，能否显著提升任务卸载性能？
• RQ3 在异构IoV卸载场景中，基于DT预测状态训练的DRL在多大程度上可降低长期系统成本（包括时延、能耗和云成本）？
• RQ4 该DT框架的任务和吞吐量预测准确度如何？其对卸载稳定性与资源利用率有何影响？
• RQ5 在真实的IoV移动性和信道动态条件下，所提出的基于DRL的卸载策略在收敛速度和鲁棒性方面表现如何？

主要发现

• 所提出的基于数字孪生的DRL框架在长期成本方面显著优于基线卸载策略，在时延、能耗和云成本权衡方面表现出更优性能。
• 基于RNN（128个单元）的任务预测模块能有效建模任务到达的时间相关性，实现主动资源分配，并降低队列溢出风险。
• 吞吐量预测模块在10个时隙的未来信道状态预测中实现了96.4%的高准确率，有助于避免使用性能较差的传输链路。
• 系统在训练过程中表现出快速收敛速度，表明其对动态IoV环境具有强适应能力。
• DT间通信使车辆能够获取全局网络状态，从而做出比仅依赖本地信息更明智、更高效的卸载决策。
• 仿真结果证实，通过数字孪生集成预测能力可实现稳定、低时延的任务执行，并高效利用MEC和云资源。

Figure 2 : Architecture of DT empowered task offloading for IoV.