[논문 리뷰] Virtual KITTI 2.

Yohann Cabon, Naila Murray외 1명|arXiv (Cornell University)|2020. 01. 29.

Advanced Vision and Imaging참고 문헌 27인용 수 41

한 줄 요약

이 논문은 안개, 비, 기울어진 카메라 등 다양한 조건에서 5개의 KITTI 트래킹 시퀀스를 포함하는 보다 향상된 합성 데이터셋인 Virtual KITTI 2를 제안한다. RGB, 깊이, 세분화, 유량, 시나리오 유량 등 풍부한 애너테이션을 제공하여 자율주행 인식 작업에서 최신 기술 수준의 평가를 가능하게 한다.

ABSTRACT

This paper introduces an updated version of the well-known Virtual KITTI dataset which consists of 5 sequence clones from the KITTI tracking benchmark. In addition, the dataset provides different variants of these sequences such as modified weather conditions (e.g. fog, rain) or modified camera configurations (e.g. rotated by 15 degrees). For each sequence, we provide multiple sets of images containing RGB, depth, class segmentation, instance segmentation, flow, and scene flow data. Camera parameters and poses as well as vehicle locations are available as well. In order to showcase some of the dataset's capabilities, we ran multiple relevant experiments using state-of-the-art algorithms from the field of autonomous driving. The dataset is available for download at this https URL.

연구 동기 및 목표

• 자율주행 인식 시스템을 훈련하고 평가하기 위해 다양한 조건, 현실적인 환경, 완전한 애너테이션을 갖춘 합성 데이터셋이 필요로 하는 문제를 해결하기 위해.
• 기존 Virtual KITTI 데이터셋을 확장하여 기상 조건과 카메라 설정이 변경된 새로운 시퀀스 변형을 도입하기 위해.
• 인식 알고리즘의 벤치마킹을 위해 RGB, 깊이, 세분화, 유량 등의 다중 모odal 애너테이션을 포괄적으로 제공하기 위해.
• 통제 가능하고 확장 가능한 합성 환경을 통해 어려운 환경 조건에서 최신 기술 수준의 알고리즘 평가를 가능하게 하기 위해.

제안 방법

• KITTI 트래킹 벤치마크의 5개 시퀀스를 기반으로 기존 Virtual KITTI 프레임워크를 확장하여 시퀀스 클론을 생성하기 위해.
• 합성 데이터 증강 기법을 적용하여 안개와 비와 같은 악성 기상 조건을 시뮬레이션하기 위해.
• 카메라 설정의 변형, 특히 15도 기울임을 도입하여 센서 정렬 오류에 대한 내성 테스트를 수행하기 위해.
• 동기화된 다중 작업 애너테이션을 생성하기 위해: RGB 이미지, 깊이 맵, 의미적 및 인스턴스 세분화 마스크, 옵티컬 플로우, 시나리오 유량.
• 기하학적 추론을 지원하기 위해 각 프레임의 정확한 카메라 내부 및 외부 파arameter, 차량 자세 데이터를 제공하기 위해.
• 최신 기술 수준의 인식 알고리즘을 사용하여 데이터셋의 유효성을 검증하고 실제 벤치마킹에서의 유용성을 입증하기 위해.

실험 결과

연구 질문

• RQ1 합성된 악성 기상 조건(예: 안개, 비) 하에서 자율주행 인식 모델의 성능은 어떻게 저하되는가?
• RQ2 카메라 설정의 변화, 예를 들어 15도 기울임과 같은 요소가 깊이 및 유량 추정 네트워크의 내성에 어느 정도 영향을 미치는가?
• RQ3 Virtual KITTI 2와 같은 합성 데이터셋이 다중 작업 인식 작업에서 실제 주행 시나리오로 일반화하는 데 효과적으로 기여할 수 있는가?
• RQ4 최신 기술 수준의 모델들은 통제 가능한 합성 환경에서 다중 모달 애너테이션(예: 시나리오 유량, 인스턴스 세분화)에서 어떻게 성능을 내는가?

주요 결과

• Virtual KITTI 2 데이터셋은 다양한 환경적 조건과 센서 설정에서 인식 모델의 일관된 평가를 가능하게 한다.
• Virtual KITTI 2에서 훈련된 모델들은 합성된 안개와 비 조건에서 성능 저하가 명확하게 관측되며, 실제 세계의 과제를 반영한다.
• 기울어진 카메라 설정을 포함함으로써 깊이 및 유량 추정에서 측정 가능한 오차가 발생하여 센서 정렬 오류에 대한 민감도를 드러낸다.
• 이 데이터셋은 의미적 및 인스턴스 세분화, 옵티컬 플로우, 시나리오 유량을 포함한 엔드 투 엔드 다중 작업 인식 파이프라인 평가를 지원한다.
• 최신 기술 수준의 알고리즘이 Virtual KITTI 2에서 경쟁적인 성능을 달성하여 합성 데이터 평가의 벤치마크로서의 유용성을 입증한다.
• 정확한 진짜 카메라 자세 및 차량 위치 제공로 인해 궤도 및 운동 추정 평가가 정확하게 수행될 수 있다.