[논문 리뷰] SynWoodScape: Synthetic Surround-view Fisheye Camera Dataset for Autonomous Driving

Ahmed Rida Sekkat, Yohan Dupuis외 5명|arXiv (Cornell University)|2022. 03. 09.

Advanced Vision and Imaging참고 문헌 26인용 수 58

한 줄 요약

이 논문은 자율주행을 위한 합성 80,000프레임 주변 시야 펜트라 렌즈 카메라 데이터셋인 SynWoodScape를 소개한다. 이 데이터셋은 정확한 校정을 반영한 CARLA 시뮬레이터(v0.9.10.1)를 사용해 생성되었으며, 실제 WoodScape 데이터셋과 동일한 캘리브레이션을 구현하였다. 이 데이터셋은 광범위한 정밀한 애너테이션을 제공하여 10개 이상의 인식 작업(예: 옵티컬 플로우, 깊이, 벌거벌거 시각 분할, 이벤트 카메라 신호 등)을 지원함으로써 고정밀 벤치마킹을 가능하게 하고, 비용이 많이 드는 실세계 애너테이션에 대한 의존도를 줄였다. 실험 결과, 강력한 베이스라인 성능과 실세계 및 합성 데이터 간 도메인 적응의 명백한 필요성을 입증하였다.

ABSTRACT

Surround-view cameras are a primary sensor for automated driving, used for near-field perception. It is one of the most commonly used sensors in commercial vehicles primarily used for parking visualization and automated parking. Four fisheye cameras with a 190{\deg} field of view cover the 360{\deg} around the vehicle. Due to its high radial distortion, the standard algorithms do not extend easily. Previously, we released the first public fisheye surround-view dataset named WoodScape. In this work, we release a synthetic version of the surround-view dataset, covering many of its weaknesses and extending it. Firstly, it is not possible to obtain ground truth for pixel-wise optical flow and depth. Secondly, WoodScape did not have all four cameras annotated simultaneously in order to sample diverse frames. However, this means that multi-camera algorithms cannot be designed to obtain a unified output in birds-eye space, which is enabled in the new dataset. We implemented surround-view fisheye geometric projections in CARLA Simulator matching WoodScape's configuration and created SynWoodScape. We release 80k images from the synthetic dataset with annotations for 10+ tasks. We also release the baseline code and supporting scripts.

연구 동기 및 목표

• 자율주행 인식 작업을 위한 대규모로 완전히 애너테이션 처리된 합성 펜트라 렌즈 데이터셋의 부족을 해결하기 위해.
• WoodScape와 같은 기존 실세계 데이터셋의 한계를 극복하기 위해, 옵티컬 플로우, 깊이, 동기화된 다중카메라 벌거벌거 시각 출력에 대한 밀도 높은 애너테이션이 부족한 점을 보완하기 위해.
• 실세계 센서 구성과 정확히 일치하는 비용이 들지 않는 정밀한 레이블이 부여된 합성 데이터를 사용해 인식 모델의 고정밀 벤치마킹을 가능하게 하기 위해.
• 실제 WoodScape 데이터셋과 동일한 캘리브레이션과 구성으로 제공되는 합성 데이터셋을 통해 도메인 적응 연구를 지원하기 위해.
• 통합된 다중카메라 및 BEV 출력을 활용해 근거리 인식 작업(예: 자동 주차, 좁은 공간 주행)을 위한 알고리즘 개발을 촉진하기 위해.

제안 방법

• CARLA 시뮬레이터(v0.9.10.1)를 사용한 합성 데이터 생성으로, WoodScape의 카메라 구성, 내재 및 외재 캘리브레이션 파rameter를 정확히 재현하였다.
• 4차 다항식 매핑 모델(r(θ) = a1θ + a2θ² + a3θ³ + a4θ⁴)을 활용한 펜트라 렌즈 이미지 합성으로, 3차원 방향을 단위 구면에 투영하고 190° 시야각 이미지를 생성하였다.
• 동기화된 시간 잠금 다중카메라 펜트라 렌즈 이미지와 함께, 세분화/개체/운동 분할, 옵티컬 플로우, 깊이, 이벤트 카메라 신호, 벌거벌거 시각(BEV) 맵 등 10개 이상의 작업에 대한 정답 데이터를 생성하였다.
• 역透视 변환(IPM) 및 직접 시뮬레이션을 활용한 벌거벌거 시각 표현 생성으로, 곡선, 속도 감속대 등의 3차원 공간적 맥락을 유지하기 위해 고도 맵을 포함하였다.
• OmniDet 다중작업 네트워크 프레임워크를 사용해 실세계 (WoodScape)와 합성 (SynWoodScape) 데이터 간 도메인 갭을 평가하는 파이프라인을 구현하였다.
• 실세계 및 합성 데이터 양쪽 모두에서 베이스라인 학습 및 평가를 수행하여 성능 저하 정도와 도메인 적응의 필요성을 정량화하였다.

실험 결과

연구 질문

• RQ1 시뮬레이터를 사용해 옵티컬 플로우 및 깊이에 대한 정밀한 애너테이션이 밀도 있게 부여된 합성 펜트라 렌즈 데이터셋을 효과적으로 생성할 수 있는가?
• RQ2 합성 데이터에서의 성능가 실세계 자율주행 인식 작업으로 일반화되는 정도는 어느 정도인가?
• RQ3 실세계 및 합성 데이터를 병행해 학습하는 것과 비교해, 합성 데이터에서만 학습하는 경우 도메인 일반화 및 실세계 성능 측면에서의 성능는 어떻게 되는가?
• RQ4 이미지 수준 예측의 IPM 기반 변환과 비교해, 직접 애너테이션된 상위 시각 분할(예: BEV 세분화)을 사용할 경우 성능 향상은 어느 정도인가?
• RQ5 동기화된 다중카메라 및 BEV 애너테이션을 갖춘 합성 데이터는 자동 주차와 같은 근거리 인식 작업을 위한 비용이 들지 않는 훈련을 가능하게 하는가?

주요 결과

• SynWoodScape는 10개 이상의 인식 작업(옵티컬 플로우, 깊이, 이벤트 카메라 신호 포함)에 대해 80,000프레임의 정밀한 애너테이션을 제공하며, 실세계 환경에서 정확하게 확보하기 어려운 작업들에 대해 유의미한 기여를 한다.
• SynWoodScape에서만 훈련된 모델은 세분화 작업에서 78.2% mIoU, 운동 분할에서 76.8%, 객체 탐지에서 69.2% mAP를 기록하여 강력한 베이스라인 성능를 입증하였다.
• 실제 WoodScape 데이터에서 평가했을 때, 합성 데이터에서만 훈련된 모델은 세분화 작업에서 77.8% mIoU, 객체 탐지에서 68.5% mAP를 기록하여 도메인 갭이 존재하더라도 충분히 일반화 가능한 성능를 보였다.
• 실세계 및 합성 데이터를 병행해 훈련한 결과, 실세계 데이터에서의 성능(세분화 작업에서 78.2% mIoU)이 합성 데이터 전용 훈련보다 향상되었지만, 실세계 데이터 전용 훈련(76.6% mIoU)에는 못 미쳤으며, 이는 도메인 적응의 필요성을 강력히 시사한다.
• SynWoodScape에서 직접 제공된 상위 시각 세분화 애너테이션을 사용한 결과 76.5% mIoU를 기록하여, 이미지 수준 예측의 IPM 기반 변환 방식(61.2% mIoU)보다 유의미하게 높은 성능를 보였으며, 원천적인 상위 시각 감시의 가치를 입증하였다.
• 이 데이터셋은 펜트라 렌즈 카메라를 위한 이벤트 카메라 신호의 첫 공개를 가능하게 하여, 희박하고 이벤트 기반 인식 알고리즘 연구를 지원한다.