[论文解读] From Model-Based to Data-Driven Simulation: Challenges and Trends in Autonomous Driving

Ferdinand Mütsch, Helen Gremmelmaier+4 more|arXiv (Cornell University)|May 23, 2023

Simulation Techniques and Applications被引用 8

一句话总结

简要：对自动驾驶仿真的方法进行综述，强调从基于模型向数据驱动与混合神经仿真的转变，并概述内容、行为与感知真实性挑战，以及标准化与有效性问题。

ABSTRACT

Simulation is an integral part in the process of developing autonomous vehicles and advantageous for training, validation, and verification of driving functions. Even though simulations come with a series of benefits compared to real-world experiments, various challenges still prevent virtual testing from entirely replacing physical test-drives. Our work provides an overview of these challenges with regard to different aspects and types of simulation and subsumes current trends to overcome them. We cover aspects around perception-, behavior- and content-realism as well as general hurdles in the domain of simulation. Among others, we observe a trend of data-driven, generative approaches and high-fidelity data synthesis to increasingly replace model-based simulation.

研究动机与目标

• 澄清自动驾驶仿真方法的分层分类，以及它们在真实感与方法学上的差异。
• 识别AV仿真在内容、行为与感知真实性方面当前的挑战。
• 强调新兴的数据驱动与神经仿真趋势，作为解决真实性差距的方案。
• 讨论横向挑战，如标准化、数据/计算需求与可转移性。
• 为未来研究方向和AV仿真中的待解问题提供指导。

提出的方法

• 提出从日志回放到混合神经仿真的一层级分类法。
• 在内容真实性、行为真实性和感知真实性方面综述文献以映射趋势。
• 分析与每个真实性维度相关的挑战与趋势。
• 综合数据驱动方法（如NeRFs、扩散模型、GANs）及其对内容真实性的影响。
• 讨论数据驱动与基于模型的仿真的优缺点，以及混合方法的潜力。

Figure 1 : Examples of our proposed simulation levels. Top-left to bottom-right: AR-enhanced (level 1), SUMO (level 2), CARLA (level 3), Block-NeRF (level 4) [ 59 ] .

实验结果

研究问题

• RQ1 如何将自动驾驶仿真方法分类，以反映不同的真实感和方法层级？
• RQ2 在实现AV仿真中的内容、行为与感知真实感方面存在哪些关键挑战？
• RQ3 哪些趋势与方法正在出现以解决真实性差距，它们如何影响未来的仿真层级？
• RQ4 哪些横向挑战（标准化、数据/计算、有效性、可转移性）影响新仿真范式的采用？

主要发现

• 提出一个从0到5的分层仿真水平方案，用于通过内容、动力学和传感器的仿真来比较AV仿真器。
• 内容真实性越来越多地由数据驱动方法（如NeRFs、GANs、扩散模型）和程序化内容支持，减少对手工制作资产的依赖。
• 行为真实性正在向基于ML的序列模型、变换器、对抗性强化学习以及知识引导方法发展，以更好地捕捉长尾和关键情景。
• 感知真实性受益于数据驱动的传感器建模、少样本学习和学习得到的噪声模型，以提高相机、激光雷达和雷达的保真度。
• 横向挑战包括标准化（OpenSCENARIO/OpenDRIVE/OpenOSI）、数据/计算需求，以及对仿真有效性和可转移性的评估。
• 总体而言，该领域正趋向于更高水平的数据驱动与混合神经仿真，仍有若干待解的研究问题。

Figure 2 : Our proposed hierarchy of simulation levels