[논문 리뷰] SceneDiffuser: Efficient and Controllable Driving Simulation Initialization and Rollout

Chiyu Max Jiang, Yanchao Bai외 13명|arXiv (Cornell University)|2024. 12. 05.

Autonomous Vehicle Technology and Safety인용 수 4

한 줄 요약

SceneDiffuser는 자율주행 차량 시뮬레이션을 위한 통합 확산 모델을 도입하여, 효율적인 추론 비용을 16배 줄이고, 일반화된 하드 제약 조건과 LLM 가이드 프롬프팅을 통해 궤적의 현실성과 제어 가능성도 향상시키며, 시나리오 초기화와 루프 밖으로 나가는 시뮬레이션을 동시에 처리한다. 이 모델은 Waymo Open Sim Agents Challenge에서 최고의 폐쇄 루프 성능을 기록하며, 확산 기반 모델 중 최고 수준의 성능을 달성한다.

ABSTRACT

Realistic and interactive scene simulation is a key prerequisite for autonomous vehicle (AV) development. In this work, we present SceneDiffuser, a scene-level diffusion prior designed for traffic simulation. It offers a unified framework that addresses two key stages of simulation: scene initialization, which involves generating initial traffic layouts, and scene rollout, which encompasses the closed-loop simulation of agent behaviors. While diffusion models have been proven effective in learning realistic and multimodal agent distributions, several challenges remain, including controllability, maintaining realism in closed-loop simulations, and ensuring inference efficiency. To address these issues, we introduce amortized diffusion for simulation. This novel diffusion denoising paradigm amortizes the computational cost of denoising over future simulation steps, significantly reducing the cost per rollout step (16x less inference steps) while also mitigating closed-loop errors. We further enhance controllability through the introduction of generalized hard constraints, a simple yet effective inference-time constraint mechanism, as well as language-based constrained scene generation via few-shot prompting of a large language model (LLM). Our investigations into model scaling reveal that increased computational resources significantly improve overall simulation realism. We demonstrate the effectiveness of our approach on the Waymo Open Sim Agents Challenge, achieving top open-loop performance and the best closed-loop performance among diffusion models.

연구 동기 및 목표

• 고비용의 계산과 분포 이탈 문제를 해결하기 위해 효율적이고 현실적인 폐쇄 루프 자율주행 차량 시뮬레이션을 구현하는 것.
• 에이전트, 자세, 크기, 유형, 타임스텝을 동시에 모델링하는 단일 확산 기반 생성 프레임워크를 통해 시나리오 초기화와 롤아웃을 통합하는 것.
• 자연어 기반 시나리오 생성을 위한 대규모 언어 모델(Large Language Model, LLM)의 소량 프롬프팅과 일반화된 하드 제약 조건을 통해 시뮬레이션의 제어성을 향상시키는 것.
• 모델 크기의 확장이 시뮬레이션의 현실성에 미치는 영향을 조사하고, 최적의 계산 자원 대비 성능의 균형을 규명하는 것.
• Waymo Open Sim Agents Challenge에서 개방형 및 폐쇄형 루프 시뮬레이션 양쪽에서 최고 수준의 성능을 입증하는 것.

제안 방법

• 압축된 확산 기반의 새로운 노이즈 제거 파라다임을 도입하여, 향후 시뮬레이션 단계 수에 걸쳐 노이즈 제거의 계산 비용을 분산 처리함으로써, 각 롤아웃 단계당 추론 단계를 16배 줄이는 데 성공했다.
• 기록된 주행 시나리오 데이터를 기반으로 끝에서 끝까지 훈련된 통합된 시공간 확산 모델을 활용하여, 에이전트 궤적, 자세, 크기, 유형, 타임스텝을 동시에 예측한다.
• 시나리오 수준의 규칙(예: 에이전트 위치, 속도, 행동 등)을 생성 중에 이행하기 위한 융통성 있는 추론 시점 메커니즘으로 일반화된 하드 제약 조건을 적용한다.
• 자연어 기반 기술을 활용하여 대규모 언어 모델(Large Language Model, LLM)의 소량 프롬프팅을 통해 구조화된 제약 조건으로 변환하여 합성 시나리오 생성을 지원한다.
• 행동 예측, 시나리오 생성, 임의의 제어 마스크를 동시에 수행하는 다중 작업 공훈련을 통해 일반화 능력을 향상시키고 충돌률 및 이탈률을 감소시킨다.
• 에이전트 별 공간 주의 메커니즘과 AdaLN-Zero를 활용한 교차 주의 조건부 설정을 통해 공동 에이전트 분포를 모델링하고 궤적 일관성을 향상시킨다.

실험 결과

연구 질문

• RQ1 통합된 확산 모델이 자율주행 시뮬레이션에서 시나리오 초기화와 폐쇄 루프 롤아웃을 효과적으로 처리할 수 있는가?
• RQ2 압축된 확산 기법이 폐쇄 루프 시뮬레이션에서 추론 비용을 줄이면서도 궤적의 현실성을 유지하거나 향상시킬 수 있는가?
• RQ3 일반화된 하드 제약 조건과 LLM 가이드 프롬프팅을 통해 얼마나 높은 수준의 제어성과 다양성 있는 시나리오 생성이 가능한가?
• RQ4 모델 크기와 시간 해상도의 확장을 통해 시뮬레이션의 현실성과 성능에 어떤 영향을 미치는가?
• RQ5 자기회귀 기반 기준 모델 대비 확산 기반 모델이 폐쇄 루프 시뮬레이션에서 최고 수준의 성능을 달성할 수 있는가?

주요 결과

• SceneDiffuser는 Waymo Open Sim Agents Challenge에서 개방형 루프 성능 최고 수준을 기록하였고, 확산 기반 모델 중에서 가장 뛰어난 폐쇄 루프 성능을 확보하였다.
• 압축된 확산 기법은 각 롤아웃 단계당 추론 비용을 16배 줄였으며, 동시에 폐쇄 루프 오차를 크게 감소시키고 궤적 일관성을 향상시켰다.
• 모델 크기와 시간 해상도의 확장을 통해 시뮬레이션의 현실성이 향상되었으며, 공동 분포가 기록된 데이터 분포를 잘 따라가게 되었다.
• 일반화된 하드 제약 조건의 활용은 에이전트 행동과 시나리오 레이아웃에 대한 효과적인 제어를 가능하게 하였으며, 수동 및 LLM 기반 제약 조건 생성 모두를 지원한다.
• 다중 작업 공훈련은 충돌률 및 이탈률을 단일 작업 기반 베이스라인 대비 감소시켜 시뮬레이션의 강건성을 향상시켰다.
• AdaLN-Zero를 교차 주의로 교체하면 현실성 성능이 7.99% 감소하고, 에이전트 별 공간 주의를 제거하면 충돌률이 크게 증가하여, 이들의 중요성을 확인하였다.