[논문 리뷰] GeoSim: Realistic Video Simulation via Geometry-Aware Composition for Self-Driving

Yun Chen, Frieda Rong외 7명|arXiv (Cornell University)|2021. 01. 16.

Computer Graphics and Visualization Techniques참고 문헌 60인용 수 4

한 줄 요약

GeoSim는 센서 데이터에서 추출한 현실적인 3D 동적 객체를 새로운 자세로 렲영하여 기존의 도시 환경에 통합함으로써 사진처럼 생생하고 기하학적으로 일관되며 교통 상황을 고려한 합성 영상을 생성하는 기하학적 인지 영상 시뮬레이션 프레임워크를 제안한다. 이 방법은 데이터 증강을 통해 시각적 품질을 최고 수준으로 향상시키고, 세분화 성능을 mIOU 기준 3.4% 향상시킨다.

ABSTRACT

Scalable sensor simulation is an important yet challenging open problem for safety-critical domains such as self-driving. Current works in image simulation either fail to be photorealistic or do not model the 3D environment and the dynamic objects within, losing high-level control and physical realism. In this paper, we present GeoSim, a geometry-aware image composition process which synthesizes novel urban driving scenarios by augmenting existing images with dynamic objects extracted from other scenes and rendered at novel poses. Towards this goal, we first build a diverse bank of 3D objects with both realistic geometry and appearance from sensor data. During simulation, we perform a novel geometry-aware simulation-by-composition procedure which 1) proposes plausible and realistic object placements into a given scene, 2) render novel views of dynamic objects from the asset bank, and 3) composes and blends the rendered image segments. The resulting synthetic images are realistic, traffic-aware, and geometrically consistent, allowing our approach to scale to complex use cases. We demonstrate two such important applications: long-range realistic video simulation across multiple camera sensors, and synthetic data generation for data augmentation on downstream segmentation tasks. Please check https://tmux.top/publication/geosim/ for high-resolution video results.

연구 동기 및 목표

• 자율주행 시스템을 위한 확장 가능하고 사진처럼 생생하며 물리적으로 일관된 영상 시뮬레이션의 부족을 해결하기 위해.
• 실제 주행 플릿에서 확보한 대규모 센서 데이터를 활용하여 수동 3D 자산 생성의 필요성을 제거하기 위해.
• 적절한 가림, 조명, 공간 일관성을 갖춘 동적 객체(예: 차량)를 기존 장면에 현실적으로 삽입할 수 있도록 하기 위해.
• 합성 데이터의 유용성을 바탕으로 세분화와 같은 후속 인식 작업 향상 가능성을 입증하기 위해.
• 다양한 카메라 센서를 통해 영상 시뮬레이션에서 고도의 현실감과 기하학적 정확성을 달성하기 위해.

제안 방법

• 형태 정규화를 갖춘 미분 가능한 재구성 네트워크를 사용하여 다중 시점, 다중 센서 데이터(LiDAR, 카메라)에서 대규모 3D 자산 뱅크를 구성한다.
• HD 지도와 LiDAR를 활용하여 장면 내에서 물리적으로 타당하고 교통 상황을 고려한 3D 객체 배치를 추론한다.
• 가림, 조명 변화, 경계 블렌딩을 처리하기 위해 신경망 기반 인painting을 활용한 이미지 기반 렌더링을 수행한다.
• 물리 기반 렌더링과 신경망 인painting을 조합한 하이브리드 렌더링 파이프라인을 활용하여 현실감을 향상시키면서도 효율성을 유지한다.
• 객체 자세를 전파하고 새로운 시점 렌더링을 통해 다중 카메라 센서 간 시간적으로 일관된 영상 시퀀스를 생성한다.
• 합성 데이터를 활용해 세분화 작업에 대한 데이터 증강을 수행하고, 실재 데이터에 합성 예제를 추가하여 모델을 미세조정한다.

실험 결과

연구 질문

• RQ1 데이터 기반의 기하학적 인지 조합 방법이 인간의 시각 평가에서 실제 영상과 구분되지 않는 합성 주행 영상을 생성할 수 있는가?
• RQ2 3D 장면 레이아웃과 동적 객체 배치 통합이 영상 시뮬레이션의 현실감과 기하학적 일관성에 어떤 영향을 미치는가?
• RQ3 GeoSim이 생성한 합성 데이터가 세분화와 같은 후속 인식 모델의 성능 향상에 어느 정도 기여하는가?
• RQ4 FID 점수 향상이 제한된 상황에서도 그림자 렌더링과 하이브리드 렌더링의 상대적 기여는 무엇인가, 인간의 인식과 FID 지표 간 격차는 무엇인가?
• RQ5 재학습 없이 GeoSim이 다양한 데이터셋과 도시 환경에 일반화 가능한가?

주요 결과

• GeoSim은 인간 선호도 평가에서 기준 대비 94.3%의 점수를 기록하여 SPADE, Guided Editing, CAD와 같은 기존 방법들을 크게 앞서며 시각적 품질에서 뛰어난 성능을 보였다.
• GeoSim의 FID 점수는 14.3로 모든 기준보다 낮아 실제 데이터와의 분포 유사도가 뛰어나다는 것을 나타낸다.
• 렌더링 파이프라인에 그림자를 포함시켰을 때 인간 선호도는 71.9%에서 향상되었지만(FID는 14.3로 동일하게 유지됨), 이는 인간 인식과 FID 지표 간 격차를 드러낸다.
• Argoverse 데이터셋에서 GeoSim은 CAD 대비 인간 선호도 점수 84.0%를 기록했으며, FID는 24.5로 나타나 데이터셋 간 일반화 능력이 뛰어나다는 것을 입증했다.
• GeoSim을 활용한 데이터 증강은 PSPNet에서 mIOU를 3.4% 향상시키고, DeepLabv3에서는 0.4% 향상시켜 두 세분화 모델 모두에서 일관된 성능 향상을 이뤘다.
• 기존 방법에서 관찰된 흐릿한 차량, 기하학적 일관성 결여 등의 아티팩트를 줄여 신경망 인painting과 가림 처리를 통해 원활한 블렌딩을 달성했다.