[论文解读] How Simulation Helps Autonomous Driving:A Survey of Sim2real, Digital Twins, and Parallel Intelligence

Xuemin Hu, Shen Li+4 more|arXiv (Cornell University)|May 2, 2023

Autonomous Vehicle Technology and Safety被引用 4

一句话总结

本综述全面回顾了模拟到现实（sim2real）、数字孪生（DTs）和平行智能（PI）作为弥合自动驾驶领域现实差距的关键使能技术。它整合了最先进的方法——如域随机化、元学习和多尺度仿真——展示了如何通过仿真驱动的知识迁移来提升安全性、降低真实世界测试成本，并借助虚拟与物理系统协同演化的整合方式，实现可扩展、鲁棒的自动驾驶系统。

ABSTRACT

Safety and cost are two important concerns for the development of autonomous driving technologies. From the academic research to commercial applications of autonomous driving vehicles, sufficient simulation and real world testing are required. In general, a large scale of testing in simulation environment is conducted and then the learned driving knowledge is transferred to the real world, so how to adapt driving knowledge learned in simulation to reality becomes a critical issue. However, the virtual simulation world differs from the real world in many aspects such as lighting, textures, vehicle dynamics, and agents' behaviors, etc., which makes it difficult to bridge the gap between the virtual and real worlds. This gap is commonly referred to as the reality gap (RG). In recent years, researchers have explored various approaches to address the reality gap issue, which can be broadly classified into three categories: transferring knowledge from simulation to reality (sim2real), learning in digital twins (DTs), and learning by parallel intelligence (PI) technologies. In this paper, we consider the solutions through the sim2real, DTs, and PI technologies, and review important applications and innovations in the field of autonomous driving. Meanwhile, we show the state-of-the-arts from the views of algorithms, models, and simulators, and elaborate the development process from sim2real to DTs and PI. The presentation also illustrates the far-reaching effects and challenges in the development of sim2real, DTs, and PI in autonomous driving.

研究动机与目标

• 解决模拟环境与真实世界自动驾驶环境之间存在的关键现实差距（RG）挑战。
• 系统性地回顾并分类自动驾驶领域中模拟到现实（sim2real）、数字孪生（DTs）和平行智能（PI）的现有方法。
• 识别知识迁移、数据稀缺性以及模型在仿真与现实之间泛化能力方面的关键局限与开放挑战。
• 提出一个统一的框架，用于评估和整合模拟到现实、数字孪生与平行智能技术，以提升自动驾驶系统的安全性、可扩展性及真实世界部署能力。

提出的方法

• 将模拟到现实技术划分为六类核心方法：课程学习、元学习、知识蒸馏、鲁棒强化学习、域随机化与迁移学习。
• 分析支持物理车辆与虚拟仿真之间双向数据流的数字孪生（DT）架构，利用真实传感器数据与物理建模实现同步。
• 研究支持描述、预测与预测性控制的平行智能（PI）框架，通过物理与虚拟系统之间的同步计算实现。
• 调查主要的自动驾驶仿真器（如AirSim、CarSim、SUMO），评估其保真度、可扩展性以及在模拟到现实与数字孪生应用中的适用性。
• 整合来自真实与仿真环境的多模态、大规模数据，用于训练和验证基于平行智能的自动驾驶系统。
• 提出一种分层评估框架，用于评估所学策略在多样化环境与任务中的泛化能力与可迁移性。

实验结果

研究问题

• RQ1 域随机化与鲁棒强化学习等模拟到现实技术在多大程度上能有效减少自动驾驶中的现实差距？
• RQ2 数字孪生在多大程度上可通过同步的数据与模型更新，实现对物理车辆的精确实时建模与控制？
• RQ3 哪些关键的架构与算法组件能够有效支持自动驾驶系统中的平行智能？
• RQ4 当前模拟到现实、数字孪生与平行智能方法的主要局限是什么，导致其在多样化驾驶场景与环境中的泛化能力受限？
• RQ5 如何通过整合模拟到现实、数字孪生与平行智能技术，实现更可扩展、更安全且成本更低的自动驾驶汽车开发？

主要发现

• 域随机化与鲁棒强化学习通过在训练期间让智能体接触多样化的环境变化，显著提升了策略的泛化能力。
• 数字孪生通过使用真实传感器数据将物理车辆状态与高保真虚拟副本同步，实现了对运动规划与系统监控的实时支持。
• 平行智能框架通过支持物理与仿真数据流的多单元并发处理，提升了系统性能。
• 当前的模拟到现实方法高度依赖具体场景，缺乏通用的、与任务无关的知识迁移方法，限制了其可扩展性与可移植性。
• 尽管仿真数据丰富，但真实世界数据——尤其是罕见或极端场景下的数据——的稀缺性仍是主要瓶颈。
• 缺乏用于建模、评估与集成数字孪生与平行智能组件的标准化方法论，阻碍了全面端到端自动驾驶系统的开发。