[논문 리뷰] WoodScape: A multi-task, multi-camera fisheye dataset for autonomous driving

Yogamani Senthil, Hughes, Ciaran외 15명|arXiv (Cornell University)|2019. 05. 04.

Advanced Neural Network Applications인용 수 4

한 줄 요약

WoodScape는 자율주행을 위한 첫 번째 대규모, 다중 카메라, 다중 작업 펜시 렌즈 데이터셋으로, 네 대의 360° 펜시 렌즈 카메라, 고해상도 LiDAR, IMU, GNSS를 포함한다. 100,000장이 넘는 이미지에서 개체 수준의 의미 분할, 3D 검출, 깊이 추정, 오염도 검출 및 기타 작업을 제공하며, 표준 보정을 생략하는 데서 유의미하게 빠른 95배 빠른 3D 검출 메트릭과 원천적인 펜시 렌즈 인식 모델을 제공한다.

ABSTRACT

Fisheye cameras are commonly employed for obtaining a large field of view in surveillance, augmented reality and in particular automotive applications. In spite of their prevalence, there are few public datasets for detailed evaluation of computer vision algorithms on fisheye images. We release the first extensive fisheye automotive dataset, WoodScape, named after Robert Wood who invented the fisheye camera in 1906. WoodScape comprises of four surround view cameras and nine tasks including segmentation, depth estimation, 3D bounding box detection and soiling detection. Semantic annotation of 40 classes at the instance level is provided for over 10,000 images and annotation for other tasks are provided for over 100,000 images. With WoodScape, we would like to encourage the community to adapt computer vision models for fisheye camera instead of using naive rectification.

연구 동기 및 목표

• 자율주행에서 펜시 렌즈 영상 기반 컴퓨터 비전을 위한 공개적이고 대규모인 데이터셋의 부족을 보완한다.
• 보정 및 표준 투시 모델에 의존하는 것 대신, 원천적인 펜시 렌즈 인식 모델의 개발을 가능하게 한다.
• 오염도 검출 및 펜시 렌즈 데이터를 위한 운동 분할과 같은 새로운 애너테이션 작업을 도입한다.
• 네 대의 펜시 렌즈 카메라 간에 동기화되고 고정도의 애너테이션을 제공하여 다중 카메라, 다중 작업 학습을 지원한다.
• 펜시 렌즈 데이터를 활용하여 종단간 주행 정책 및 합성에서 실제 환경으로의 도메인 적응 연구를 촉진한다.

제안 방법

• 360° 커버리지가 가능한 네 대의 펜시 렌즈 카메라를 설치하여 LiDAR, GNSS, IMU와 동기화함으로써 정밀한 위치 결정 및 깊이 진짜값을 확보한다.
• 3D LiDAR 포인트를 펜시 렌즈 영상에 정확하게 투영하기 위해 오clusion 보정 기능을 갖춘 통합 펜시 렌즈 카메라 모델(UCM/eUCM)을 사용한다.
• 10,000장의 이미지에 맞춰 최적화된 Eigen의 모델을 활용한 준지도 기반 깊이 추정을 적용하여 깊이 예측에서 7.7 RMSE를 달성한다.
• 기존 IoU 기반 방법에 비해 학습 시간을 95배 감소시키는 새로운 3D 경계상자 검출 메트릭을 도입한다.
• 자기 운동 신호를 활용해 10,000장의 이미지에 대해 운동 마스크를 생성하여 IoU 평가 기반 이진 운동 분할을 가능하게 한다.
• GNSS/IMU를 활용해 센티미터 수준의 진짜값을 확보한, 펜시 렌즈에 적합한 LSD-SLAM 기반 시각적 온도메트리 및 SLAM 베이스라인을 개발한다.

실험 결과

연구 질문

• RQ1 정규화 없이 원시 펜시 렌즈 영상에서 딥 러닝 모델이 효과적으로 학습할 수 있으며, 이는 보정된 입력에 비해 성능 향상에 기여하는가?
• RQ2 3D 검출 및 깊이 추정 등의 작업에서, 펜시 렌즈 기하학을 명시적으로 모델링하는 것과 종단간 학습 방식을 비교했을 때 정확도와 효율성 측면에서 어떤 차이가 있는가?
• RQ3 자기 운동에서 유도된 운동 신호를 얼마나 잘 활용해 펜시 렌즈 영상에서 강력한 객체 분할을 달성할 수 있는가?
• RQ4 합성 펜시 렌즈 데이터는 실세계 시나리오로의 전이가 얼마나 효과적으로 이루어지는가? 특히 의미 분할 및 깊이 추정에 대해.
• RQ5 여러 대의 펜시 렌즈 카메라 시야에서 통합된 다중 작업 모델이 자율주행 인식에 얼마나 효과적인가?

주요 결과

• WoodScape는 10,000장 이상의 펜시 렌즈 영상에서 40개 클래스에 대해 개체 수준의 의미 분할을 제공하며, 데이터셋의 95% 이상이 최소한 하나의 추가 작업에 대해 애너테이션 처리되었다.
• 제안된 3D 검출 메트릭은 기존 IoU 기반 학습 대비 학습 시간을 95배 감소시켜 더 빠른 모델 반복 개선이 가능하다.
• 준지도 학습 기반 깊이 추정 베이스라인은 깊이 추정 작업에서 RMSE 7.7을 달성했다.
• MODNet을 활용한 운동 분할 베이스라인은 이동 객체 탐지에서 IoU 45%를 기록하여 펜시 렌즈 데이터에서 운동 기반 분할의 가능성과 타당성을 입증했다.
• 펜시 렌즈에 적합한 LSD-SLAM 기반 시각적 온도메트리 베이스라인은 50개의 영상 시퀀스(10만 장 이상의 프레임 포함)에서 높은 정확도를 보였으며, GNSS/IMU 진짜값으로 검증되었다.
• 이 데이터셋은 공개된 첫 번째 오염도 검출 벤치마크를 제공하며, 악천후 조건에서 강력한 인식을 위한 새로운 작업을 도입했다.