[논문 리뷰] DrivingDiffusion: Layout-Guided multi-view driving scene video generation with latent diffusion model

Xiaofan Li, Yifu Zhang외 1명|arXiv (Cornell University)|2023. 10. 11.

Advanced Vision and Imaging인용 수 4

한 줄 요약

DrivingDiffusion는 3D 레이아웃 제어를 통해 고품질이며 시간적·공간적으로 일관된 다중 시점 주행 영상을 생성하기 위한 계단식 잠재 확산 프레임워크를 제안한다. 교차 시점 어텐션, 핵심 프레임 조건부 조절, 국소 프롬프트, 슬라이딩 윈도우 후처리를 통합함으로써, 상태 기반 영상 일관성과 개체 품질을 달성하였으며, 데이터 증강에 활용될 경우 BEV 인식 성능을 크게 향상시켰다.

ABSTRACT

With the increasing popularity of autonomous driving based on the powerful and unified bird's-eye-view (BEV) representation, a demand for high-quality and large-scale multi-view video data with accurate annotation is urgently required. However, such large-scale multi-view data is hard to obtain due to expensive collection and annotation costs. To alleviate the problem, we propose a spatial-temporal consistent diffusion framework DrivingDiffusion, to generate realistic multi-view videos controlled by 3D layout. There are three challenges when synthesizing multi-view videos given a 3D layout: How to keep 1) cross-view consistency and 2) cross-frame consistency? 3) How to guarantee the quality of the generated instances? Our DrivingDiffusion solves the problem by cascading the multi-view single-frame image generation step, the single-view video generation step shared by multiple cameras, and post-processing that can handle long video generation. In the multi-view model, the consistency of multi-view images is ensured by information exchange between adjacent cameras. In the temporal model, we mainly query the information that needs attention in subsequent frame generation from the multi-view images of the first frame. We also introduce the local prompt to effectively improve the quality of generated instances. In post-processing, we further enhance the cross-view consistency of subsequent frames and extend the video length by employing temporal sliding window algorithm. Without any extra cost, our model can generate large-scale realistic multi-camera driving videos in complex urban scenes, fueling the downstream driving tasks. The code will be made publicly available.

연구 동기 및 목표

• 자율 주행 인식을 위한 대규모, 고품질, 다중 시점, 시간적으로 일관된 영상 데이터의 부족 문제를 해결하기 위해.
• 3D 레이아웃을 조건 입력으로 사용하여 제어 가능한 다중 시점 주행 영상 생성을 가능하게 하기 위해.
• 복잡한 도심 환경에서 고해상도 개체 생성을 보장하면서도 시점 간 및 프레임 간 일관성을 유지하기 위해.
• 하류의 BEV 인식 작업을 지원하는 확장 가능한 종단 간 프레임워크를 개발하기 위해.
• 확산 모델을 사용하여 정밀한 기하학적 및 의미적 제어를 갖춘 다중 시점 영상 생성의 가능성 탐색을 위해.

제안 방법

• 다중 시점 단일 프레임 생성 모델, 공유 단일 시점 영상 생성 모델, 그리고 후처리 정밀화 단계를 조합한 계단식 아키텍처.
• 동일한 프레임 내 여러 카메라 시점 간 공간 일관성을 강제하기 위한 기하학적 제약 조건이 포함된 교차 시점 어텐션 모듈.
• 첫 번째 프레임의 다중 시점 특징을 참조로 사용하여 이후 프레임 생성에 대한 맥락을 제공함으로써 시간적 일관성을 확보하는 핵심 프레임 조절기.
• 차량 및 보행자와 같은 특정 개체의 세밀하고 고품질 생성을 유도하기 위한 국소 프롬프트 삽입.
• 모델의 기본 수용 영역을 초월해 영상 길이를 연장하기 위한 시간적 슬라이딩 윈도우 추론.
• 첫 번째 프레임을 기준으로 하여 이후 프레임을 재최적화하는 다중 시점 모델을 미세조정하여 후처리함으로써 장거리 일관성 향상.

실험 결과

연구 질문

• RQ1 잠재 확산 모델은 3D 레이아웃에서 고시각적 정밀도를 유지하면서 다중 시점, 시간적으로 일관된 주행 영상을 생성할 수 있는가?
• RQ2 다양한 카메라 시점에서 동기화된 영상 프레임을 생성할 때 교차 시점 일관성이 어떻게 유지될 수 있는가?
• RQ3 프레임 수준의 드리프트 없이 장기적인 시간적 일관성이 어떻게 보장될 수 있는가?
• RQ4 국소 프롬프트는 차량 및 보행자와 같은 생성 개체의 품질을 어느 정도 향상시킬 수 있는가?
• RQ5 제안된 프레임워크는 BEV 기반 인식 모델에 대한 데이터 증강 전략으로서 얼마나 효과적인가?

주요 결과

• 일관성 모듈과 국소 프롬프트의 조합이 가장 높은 생성 품질을 달성하였으며, FID는 15.83, FVD는 332, Object NDS는 33.1을 기록하였다.
• 일관성 모듈을 제거하면 시점 간 일관성이 손상되었고, 국소 프롬프트를 제거하면 개체 품질이 떨어져, 이들의 필요성을 확인하였다.
• DrivingDiffusion를 활용한 합성 데이터 증강은 BEV 인식 성능을 향상시켰다: 6,000장의 합성 프레임을 사용할 경우 NDS는 0.412에서 0.434로 상승하고, mAOE는 0.5613에서 0.5130으로 감소하였다.
• 입력 3D 레이아웃을 변형하여 충돌 및 희귀 시나리오 영상을 성공적으로 생성함으로써, 뛰어난 제어 가능성과 유연성을 입증하였다.
• 일관성 모듈과 국소 프롬프트 구성 요소를 포함함으로써 FVD는 55점 감소하고 FID는 0.63 감소하여 영상 및 이미지 품질 향상이 뚜렷하게 나타났다.
• 슬라이딩 윈도우 추론을 통해 추가 학습 비용 없이도 장시간 영상 시퀀스를 생성하고, 시점 간 및 프레임 간 높은 일관성을 유지할 수 있었다.