[논문 리뷰] Scenario Diffusion: Controllable Driving Scenario Generation With Diffusion

Ethan Pronovost, Meghana Reddy Ganesina외 5명|arXiv (Cornell University)|2023. 11. 05.

Autonomous Vehicle Technology and Safety인용 수 8

한 줄 요약

본 논문은 지도(map)와 설명 토큰으로 조건화된 환경에서 교통 시나리오를 위해 방향성 바운딩 박스와 궤적을 함께 생성하는 확산 기반 모델인 Scenario Diffusion을 제시한다. 이는 제어 가능하고 지리적으로 일반화 가능한 시나리오 생성을 가능하게 하여 자율주행 차량(AV) 안전 검증에 활용될 수 있다.

ABSTRACT

Automated creation of synthetic traffic scenarios is a key part of validating the safety of autonomous vehicles (AVs). In this paper, we propose Scenario Diffusion, a novel diffusion-based architecture for generating traffic scenarios that enables controllable scenario generation. We combine latent diffusion, object detection and trajectory regression to generate distributions of synthetic agent poses, orientations and trajectories simultaneously. To provide additional control over the generated scenario, this distribution is conditioned on a map and sets of tokens describing the desired scenario. We show that our approach has sufficient expressive capacity to model diverse traffic patterns and generalizes to different geographical regions.

연구 동기 및 목표

• 자율주행 차량을 위한 다양하고 안전에 중요한 교통 시나리오의 자동 생성을 촉진한다.
• 에이전트 위치, 방향 및 궤적을 출력하는 제어 가능한 확산 기반 프레임워크를 개발한다.
• 생성된 장면을 지도 및 시나리오 토큰으로 조건화하여 제어할 수 있도록 한다.
• 지리적 지역 간 일반화 및 가변 토큰 기반 제어를 시연한다.
• 부분 토큰화를 통해 라벨링 요구를 줄이면서도 제어 가능성을 유지한다.

제안 방법

• 씬을 잠재 공간으로 매핑하는 VAE 스타일 인코더-디코더와 그 잠재 공간에서 작동하는 확산 모델의 2부분 아키텍처를 사용한다.
• BEV 입력에서 방향 바운딩 박스와 궤적의 앵커-프리 탐지를 수행하도록 오토인코더를 학습시킨다.
• 지도 데이터와 토큰으로 조건화된 잠재 임베딩의 노이즈를 제거하도록 조건부 확산 모델(EDM 기반)을 학습시키고 역시간 ODE를 추론에 사용한다.
• 확산 UNet에서 인코딩된 지도 특징을 잠재 토큰과 연결하여 지도 조건화를 통합한다.
• 에이전트 토큰(에이전트별 설명 특징)과 글로벌 씬 토큰(전반적 씬 속성 제어) 두 가지 토큰 조건화 체계를 지원한다.
• 제공된 토큰을 넘어서는 추가 에이전트를 생성하도록 학습 중 토큰 마스킹으로 부분 토큰화를 탐구한다.

실험 결과

연구 질문

• RQ1 맵과 고수준 토큰으로 조건화된 현실적이고 다양한 주행 시나리오를 디퓨전 기반 생성이 만들어낼 수 있는가?
• RQ2 토큰 조건화가 전체 궤적 명시 없이도 에이전트 행동과 장면 구성을 제어가능하게 하는가?
• RQ3 모델이 다양한 지리적 지역 간 시나리오 분포를 얼마나 잘 일반화하는가?
• RQ4 부분 토큰화가 라벨링 축소를 가능하게 하면서도 제어 가능성을 보존하는가?

주요 결과

방법	MMD 2 위치( ↓ )	MMD 2 진행 방향( ↓ )	MMD 2 속도( ↓ )	주행 가능 구간에서의 궤적	차선 방향 차이
실제 로그	-	-	-	0.900 (0.000)	0.203 (0.000)
무작위 로그 선택	0.142 (0.001)	0.386 (0.001)	0.104 (0.001)	0.407 (0.001)	1.497 (0.004)
TrafficGen [ 6 ] 배치 모델	0.113 (0.002)	0.124 (0.003)	0.054 (0.002)	-	-
시나리오 확산 (지도 없음)	0.142 (0.006)	0.352 (0.012)	0.091 (0.007)	0.411 (0.009)	1.504 (0.004)
시나리오 확산	0.093 (0.006)	0.108 (0.007)	0.055 (0.003)	0.895 (0.008)	0.271 (0.017)

• 시나리오 확산은 맵으로 조건화될 때 에이전트 위치 및 진행 방향 분포에 대해 baselines보다 MMD가 더 낮아 실제 궤적 품질에 근접한다.
• 모델은 주행 가능 영역 정렬과 차선 일관된 진행 방향의 합리적 궤적을 유지한다.
• 토큰 조건화는 에이전트 간의 목표 상호작용을 전체 궤적을 완전히 지정하지 않고도 제어 가능하게 한다.
• 부분 토큰화는 에이전트-토큰 일치율을 높게 유지하면서 전체 글로벌 토큰에 비례해 추가 에이전트를 생성할 수 있다(~0.97).
• 여러 지역에서 학습된 모델이 비확인 지역으로 일반화하는 느낌이 지역 특화 모델보다 잘 나타나며, 전체 지역 학습은 지역 특화 성능에 근접하다.
• 관계 간 상호 작용은 토큰에 기술된 미래 행동에 의해 주도되며 경계 상자와 궤적을 함께 모델링하면 일관된 상호 작용이 가능하다.