[논문 리뷰] TartanAir: A Dataset to Push the Limits of Visual SLAM

Wenshan Wang, Delong Zhu외 7명|arXiv (Cornell University)|2020. 03. 31.

Robotics and Sensor-Based Localization참고 문헌 31인용 수 26

한 줄 요약

TartanAir는 동적 객체, 가변 조명 및 다양한 기상 조건을 포함하여 시각적 SLAM 알고리즘을 도전하기 위해 설계된 대규모이고 사진처럼 사실적인 시뮬레이션 데이터셋입니다. 다양한 환경에서 다중 모odal 센서 데이터와 정확한 지상 진실값을 제공하며, 최신 SLAM 기법이 실제 복잡성에서 실패하는 것을 드러내어 더 견고한 실세계 알고리즘 개발을 촉진합니다.

ABSTRACT

We present a challenging dataset, the TartanAir, for robot navigation tasks and more. The data is collected in photo-realistic simulation environments with the presence of moving objects, changing light and various weather conditions. By collecting data in simulations, we are able to obtain multi-modal sensor data and precise ground truth labels such as the stereo RGB image, depth image, segmentation, optical flow, camera poses, and LiDAR point cloud. We set up large numbers of environments with various styles and scenes, covering challenging viewpoints and diverse motion patterns that are difficult to achieve by using physical data collection platforms. In order to enable data collection at such a large scale, we develop an automatic pipeline, including mapping, trajectory sampling, data processing, and data verification. We evaluate the impact of various factors on visual SLAM algorithms using our data. The results of state-of-the-art algorithms reveal that the visual SLAM problem is far from solved. Methods that show good performance on established datasets such as KITTI do not perform well in more difficult scenarios. Although we use the simulation, our goal is to push the limits of Visual SLAM algorithms in the real world by providing a challenging benchmark for testing new methods, while also using a large diverse training data for learning-based methods. Our dataset is available at \url{http://theairlab.org/tartanair-dataset}.

연구 동기 및 목표

• 복잡한 환경에서 시각적 SLAM에 대한 다양한, 현실적이며 도전적인 벤치마크가 부족한 문제를 해결하기 위해.
• 물리적 데이터 수집의 한계를 극복하기 위해 시뮬레이션을 통해 대규모, 제어 가능하고 반복 가능한 데이터 생성을 가능하게 하기 위해.
• 정확한 평가를 위해 스테레오 RGB, 깊이, 세분화, 옵티컬 플로우, 자세 및 LiDAR를 포함한 고해상도 다중 모달 센서 데이터를 제공하기 위해.
• 동적 운동, 열악한 조명 및 악천후와 같은 극한 조건에서 시각적 SLAM 알고리즘의 내구성을 평가하기 위해.
• 학습 기반 및 전통적 시각적 SLAM 방법의 발전을 위한 벤치마크 및 학습 자원으로 기능하기 위해.

제안 방법

• 다양한 실내 및 실외 환경을 고시각 정밀도로 렲어하는 사진처럼 사실적인 시뮬레이션 엔진을 사용하여 데이터셋을 생성합니다.
• 실세계 장면을 매핑하고 다양한 경로를 샘플링하며, 동적 에이전트와 환경 변화를 시뮬레이션하는 자동화된 파이프라인을 통해 환경를 생성합니다.
• 스테레오 RGB, 깊이, 의미적 세분화, 옵티컬 플로우, 카메라 자세 및 LiDAR를 포함한 다중 모달 센서 데이터가 정확한 지상 진실값과 함께 기록됩니다.
• 변동하는 조명 조건, 기상 효과(예: 비, dense 안개) 및 이동하는 물체를 포함하여 시나리오의 복잡성을 높입니다.
• 모든 시퀀스에서 일관성과 정확성을 확보하기 위해 데이터 검증 및 품질 제어 파이프라인을 구현합니다.
• 시각적 SLAM 분야의 재현 가능 연구 및 벤치마크 지원을 위해 데이터셋을 공개합니다.

실험 결과

연구 질문

• RQ1 최신 시각적 SLAM 알고리즘이 동적 객체와 변화하는 조명과 같은 극한 환경 변화에서 어떻게 성능을 발휘하는가?
• RQ2 KITTI와 같은 기존 데이터셋이 시각적 SLAM의 실제 도전 과제를 얼마나 잘 반영하지 못하는가?
• RQ3 높은 현실성과 다양성을 갖춘 시뮬레이션 기반 데이터셋이 시각적 SLAM의 학습 및 벤치마크 자원으로 효과적으로 기능할 수 있는가?
• RQ4 스테레오, LiDAR, 옵티컬 플로우와 같은 다양한 센서 모달리티가 복잡한 장면에서 SLAM의 내구성에 어떻게 기여하는가?
• RQ5 현재 SLAM 시스템이 도전적인 운동 패tern과 환경 역학에 노출되었을 때의 주요 실패 원인은 무엇인가?

주요 결과

• KITTI에서 잘 작동하는 최신 시각적 SLAM 알고리즘은 TartanAir의 더 복잡하고 동적인 환경에서는 성능이 크게 떨어집니다.
• 동적 객체와 변화하는 조명 조건의 존재가 심지어 고도로 발전된 SLAM 시스템의 성능을 심각하게 악화시켜 해결되지 않은 과제임을 시사합니다.
• 시각적 특징에만 의존하는 알고리즘은 운동 왜곡, 가림, 동적 장면 요소에서 어려움을 겪으며, 이는 다중 모달리티 융합의 필요성을 강조합니다.
• 이 데이터셋은 현재 SLAM 파이프라인들이 대규모 데이터로 훈련된 후에도 실세계 수준의 환경 변화에 대해 견고하지 않음을 드러냅니다.
• 높은 현실성의 합성 데이터를 활용하면 효과적인 일반화와 벤치마크 평가가 가능하며, 이는 알고리즘 개발에 있어 그 가치를 입증합니다.
• 평가 프레임워크는 기존 방법 중 어느 것도 모든 TartanAir 시퀀스에서 높은 정확도를 달성하지 못한다는 점을 확인하여, 시각적 SLAM이 여전히 열린 연구 문제임을 입증합니다.