[논문 리뷰] From Model-Based to Data-Driven Simulation: Challenges and Trends in Autonomous Driving

Ferdinand Mütsch, Helen Gremmelmaier외 4명|arXiv (Cornell University)|2023. 05. 23.

Simulation Techniques and Applications인용 수 8

한 줄 요약

자율주행 시뮬레이션 접근방식에 관한 설문으로, 모델 기반에서 데이터 기반 및 혼합 신경망 시뮬레이션으로의 전환을 강조하고, 콘텐츠, 행동, 인지 현실성 도전과 표준화 및 타당성 문제를 개략적으로 다룬다.

ABSTRACT

Simulation is an integral part in the process of developing autonomous vehicles and advantageous for training, validation, and verification of driving functions. Even though simulations come with a series of benefits compared to real-world experiments, various challenges still prevent virtual testing from entirely replacing physical test-drives. Our work provides an overview of these challenges with regard to different aspects and types of simulation and subsumes current trends to overcome them. We cover aspects around perception-, behavior- and content-realism as well as general hurdles in the domain of simulation. Among others, we observe a trend of data-driven, generative approaches and high-fidelity data synthesis to increasingly replace model-based simulation.

연구 동기 및 목표

• 자율주행 시뮬레이션 접근방식의 계층적 분류를 명확히 하고 현실성과 방법론이 어떻게 다른지 설명한다.
• AV 시뮬레이션에서 콘텐츠 현실성, 행동 현실성, 인지 현실성의 현재 도전 과제를 식별한다.
• 현실성 격차를 해결하기 위한 데이터 기반 및 신경망 시뮬레이션 트렌드를 강조한다.
• 표준화, 데이터/컴퓨트 필요성, 전이성 등 수평적 도전을 논의한다.
• AV 시뮬레이션에 대한 향후 연구 방향 및 개방형 질문에 대한 가이드를 제시한다.

제안 방법

• 로그 재생에서 혼합 신경망 시뮬레이션에 이르는 계층적 시뮬레이션 수준 분류를 제안한다.
• 콘텐츠 현실성, 행동 현실성, 인지 현실성에 걸친 문헌을 검토하여 트렌드를 매핑한다.
• 각 현실성 차원과 관련된 도전과 추세를 분석한다.
• 데이터 기반 접근법(예: NeRFs, diffusion models, GANs)과 이들의 콘텐츠 현실성에 대한 영향을 합성한다.
• 데이터 기반 시뮬레이션과 모델 기반 시뮬레이션의 장점과 한계, 혼합 방식의 가능성을 논의한다.

Figure 1 : Examples of our proposed simulation levels. Top-left to bottom-right: AR-enhanced (level 1), SUMO (level 2), CARLA (level 3), Block-NeRF (level 4) [ 59 ] .

실험 결과

연구 질문

• RQ1 자율주행 시뮬레이션 접근방식을 어떻게 분류할 수 있어 서로 다른 현실성과 방법론 수준을 반영하는가?
• RQ2 AV 시뮬레이션에서 콘텐츠, 행동, 인지 현실성 달성의 핵심 도전과제는 무엇인가?
• RQ3 현실성 격차를 해결하기 위해 어떤 트렌드와 방법이 등장하고 있으며, 이것이 향후 시뮬레이션 수준에 어떤 영향을 미치는가?
• RQ4 표준화, 데이터/컴퓨트, 타당성, 전이성 등 수평적 도전이 새로운 시뮬레이션 패러다임의 채택에 어떤 영향을 미치는가?

주요 결과

• 0to5의 계층적 시뮬레이션 수준 체계를 제안하여 콘텐츠, 역학 및 센서를 시뮬레이션하는 방식에 따라 AV 시뮬레이터를 비교한다.
• 콘텐츠 현실성은 데이터 기반 방법(예: NeRFs, GANs, diffusion models)과 절차적으로 생성된 콘텐츠에 의해 점점 더 뒷받침되며, 손으로 설계한 자산의 필요성을 줄인다.
• 행동 현실성은 긴-tail 및 중요한 시나리오를 더 잘 포착하기 위해 ML 기반 시퀀스 모델, 트랜스포머, 적대적 강화학습, 지식 주도 방법으로 이동하고 있다.
• 인지 현실성은 데이터 기반 센서 모델링, 소수-shot 학습, 학습된 노이즈 모델을 활용하여 카메라, 라이다, 레이더의 충실도를 개선한다.
• 수평적 과제로는 표준화(OpenSCENARIO/OpenDRIVE/OpenOSI), 데이터/컴퓨트 요구사항, 시뮬레이션의 타당성 및 전이성 평가가 포함된다.
• 전반적으로 이 분야는 데이터 기반과 혼합 신경망 시뮬레이션의 높은 수준으로의 수렴으로 가고 있으며, 남아 있는 몇 가지 개방 연구 질문이 있다.

Figure 2 : Our proposed hierarchy of simulation levels