[论文解读] Generative AI-empowered Simulation for Autonomous Driving in Vehicular Mixed Reality Metaverses

Minrui Xu, Dusit Niyato+6 more|arXiv (Cornell University)|Feb 16, 2023

Traffic control and management被引用 4

一句话总结

本文提出了一种基于生成式人工智能的仿真框架，用于车辆混合现实元宇宙中的自动驾驶仿真，通过数字孪生技术和基于拍卖的资源分配机制，生成多样化、条件化的驾驶数据集。该方法提升了仿真的效率与鲁棒性，在基准方法基础上实现了最高150%的社会总 surplus。

ABSTRACT

In the vehicular mixed reality (MR) Metaverse, the distance between physical and virtual entities can be overcome by fusing the physical and virtual environments with multi-dimensional communications in autonomous driving systems. Assisted by digital twin (DT) technologies, connected autonomous vehicles (AVs), roadside units (RSU), and virtual simulators can maintain the vehicular MR Metaverse via digital simulations for sharing data and making driving decisions collaboratively. However, large-scale traffic and driving simulation via realistic data collection and fusion from the physical world for online prediction and offline training in autonomous driving systems are difficult and costly. In this paper, we propose an autonomous driving architecture, where generative AI is leveraged to synthesize unlimited conditioned traffic and driving data in simulations for improving driving safety and traffic efficiency. First, we propose a multi-task DT offloading model for the reliable execution of heterogeneous DT tasks with different requirements at RSUs. Then, based on the preferences of AV's DTs and collected realistic data, virtual simulators can synthesize unlimited conditioned driving and traffic datasets to further improve robustness. Finally, we propose a multi-task enhanced auction-based mechanism to provide fine-grained incentives for RSUs in providing resources for autonomous driving. The property analysis and experimental results demonstrate that the proposed mechanism and architecture are strategy-proof and effective, respectively.

研究动机与目标

• 解决为自动驾驶车辆训练收集大规模真实世界驾驶数据所面临的高成本与可扩展性限制问题。
• 通过数字孪生（DT）技术融合物理与虚拟环境，实现在车辆混合现实元宇宙中的协同仿真。
• 利用生成式人工智能生成多样化、条件可控的交通与驾驶数据集，以提升驾驶安全与交通效率。
• 设计一种激励机制，公平且高效地在路边单元（RSUs）之间分配计算与通信资源，用于数字孪生任务卸载。
• 在去中心化仿真环境中确保机制的策略鲁棒性与逆向选择抗性，以维持信任与效率。

提出的方法

• 提出一种多任务数字孪生（DT）卸载模型，根据路边单元（RSUs）在计算、通信与截止时间要求方面的差异，管理异构的DT任务（如仿真、决策与监控）。
• 采用条件生成式人工智能模型（如 TSDreambooth）基于实时状态与用户偏好，生成无限量、高质量且条件特定的驾驶与交通数据集。
• 提出一种多任务增强型基于拍卖的机制（MTEPViSA），通过同时考虑在线与离线子市场，实现对RSUs的细粒度激励，以应对信息不对称问题。
• 引入生成式评分以评估与优先排序AI模型性能，提升下游自动驾驶车辆训练所用合成数据的准确性。
• 采用属性分析证明该机制具备策略鲁棒性与无逆向选择特性，确保投标的真实性与系统稳定性。
• 通过真实世界数据集与微调模型进行实验验证，评估在不同数据生成偏好（如背景修改、重新语境化）下的性能表现。

Figure 1: The MR Metaverse architecture of DT-assisted autonomous driving systems with traffic and driving simulations empowered by generative AI.

实验结果

研究问题

• RQ1 如何有效利用生成式人工智能，在车辆元宇宙中为自动驾驶车辆训练生成多样化、条件特定的驾驶与交通数据集？
• RQ2 在不同资源与截止时间约束下，如何设计最优机制，将异构数字孪生任务从自动驾驶车辆卸载至路边单元（RSUs）？
• RQ3 如何设计一种激励机制，以公平且高效地分配RSU资源，同时确保策略鲁棒性与对逆向选择的抵抗能力？
• RQ4 相较于无AI的传统仿真，生成式人工智能增强的仿真在多大程度上提升了社会总 surplus 与系统效率？
• RQ5 不同生成偏好（如重新语境化 vs. 背景修改）下，合成数据的质量如何变化，以及这如何影响下游模型的性能？

主要发现

• 所提出的生成式人工智能赋能的仿真框架相较于无生成式AI的仿真，社会总 surplus 至少提升了150%。
• MTEPViSA拍卖机制相较于PViSA基线，将总 surplus 提升超过50%，尤其在任务数量与市场规模增加时表现更优。
• 验证模型在完整生成数据集上的局部相对准确率达到0.82，在背景修改数据集上为0.42，在重新语境化数据集上为0.85，表明性能因数据类型而异。
• 该机制有效解决了离线子市场中的信息不对称问题，表现优于忽略此类市场潜在 surplus 的PViSA机制。
• 实验结果与仿真趋势相似，尽管由于真实世界测试中数据质量较低，分布更不均匀，证实了该框架的鲁棒性。
• 系统表明，合成数据集显著提升了自动驾驶车辆中AI模型的性能，但提升效果在不同数据生成偏好之间并不一致。

Figure 2: The screenshots of implemented driving simulation testbed [ 20 ] with synthetic traffic signs generated by the proposed generative diffusion model, named TSDreamBooth.