[논문 리뷰] FLSea: Underwater Visual-Inertial and Stereo-Vision Forward-Looking Datasets

Yelena Randall, Tali Treibitz|arXiv (Cornell University)|2023. 02. 24.

Robotics and Sensor-Based Localization인용 수 15

한 줄 요약

FLSea는 공개적으로 제공되는 전방보기 수중 스테레오 및 시각-관성 데이터 세트를 제공하여 challenging underwater 환경에서 SLAM, VO, 및 깊이 추정 연구를 가능하게 한다.

ABSTRACT

Visibility underwater is challenging, and degrades as the distance between the subject and camera increases, making vision tasks in the forward-looking direction more difficult. We have collected underwater forward-looking stereo-vision and visual-inertial image sets in the Mediterranean and Red Sea. To our knowledge there are no other public datasets in the underwater environment acquired with this camera-sensor orientation published with ground-truth. These datasets are critical for the development of several underwater applications, including obstacle avoidance, visual odometry, 3D tracking, Simultaneous Localization and Mapping (SLAM) and depth estimation. The stereo datasets include synchronized stereo images in dynamic underwater environments with objects of known-size. The visual-inertial datasets contain monocular images and IMU measurements, aligned with millisecond resolution timestamps and objects of known size which were placed in the scene. Both sensor configurations allow for scale estimation, with the calibrated baseline in the stereo setup and the IMU in the visual-inertial setup. Ground truth depth maps were created offline for both dataset types using photogrammetry. The ground truth is validated with multiple known measurements placed throughout the imaged environment. There are 5 stereo and 8 visual-inertial datasets in total, each containing thousands of images, with a range of different underwater visibility and ambient light conditions, natural and man-made structures and dynamic camera motions. The forward-looking orientation of the camera makes these datasets unique and ideal for testing underwater obstacle-avoidance algorithms and for navigation close to the seafloor in dynamic environments. With our datasets, we hope to encourage the advancement of autonomous functionality for underwater vehicles in dynamic and/or shallow water environments.

연구 동기 및 목표

• 공개적으로 이용 가능한 데이터 세트를 제공함으로써 수중 전방보기 인식 및 내비게이션 시스템의 개발을 촉진한다.
• 정확한 깊이와 스케일이 포함된 동기화된 스테레오 및 단안 시각-관성 데이터를 제공하여 메트릭 재구성에 활용한다.
• 동적 수중 환경에서 VI-SLAM, SLAM 및 단안 깊이 추정 알고리즘의 평가를 가능하게 한다.
• 가시성, 조명 및 구조적 상황이 다양한 데이터를 제공하여 관련 인식 알고리즘의 스트레스 테스트를 가능하게 한다.
• Agisoft Metashape로 도출된 실제 깊이 맵과 알려진 크기의 보정 타깃을 사용한 실제 값 검증으로 확인한다.

제안 방법

• 두 가지 영상 플랫폼이 사용되었다: 다이버가 들고 다니는 스테레오 장치와 BlueROV2 비주얼-관성 시스템.
• 정답 깊이 맵은 Agisoft Metashape를 사용하여 오프라인으로 생성되었으며, 규모 참조로 알려진 크기의 물체를 사용했다.
• 보정 절차는 카메라의 내부 및 외부 파라미터와 센서 변환(스테레오 기준선 및 IMU-카메라 간 변환)을 확립했다.
• 지중해 및 홍해를 대상으로 가시성, 조명 및 운동이 다양하게 나타나는 다이빙을 수행하여 5개의 스테레오 및 8개의 시각-관성 데이터세트를 생성했으며, 총 수천 장의 이미지가 수집되었다.
• 데이터세트에는 원본 이미지와 SeaErra-향상 이미지가 포함되며, 동기화된 타임스탬프와 실제 카메라 자세 및 깊이 지도도 함께 제공된다.

실험 결과

연구 질문

• RQ1 저가시성의 동적 수중 환경에서 전방보기 수중 스테레오 및 시각-관성 데이터가 견고한 SLAM 및 VO를 지원할 수 있는가?
• RQ2 사진측량법으로 얻은 실제 깊이가 단안 및 스테레오 수중 인식에서 학습된 깊이와 어떻게 비교되는가?
• RQ3 수중 이미징 현상(광선집속, 감쇠, 탁도)이 이 데이터 세트의 3D 재구성 정확도에 미치는 영향은 무엇인가?
• RQ4 이 데이터 세트의 루프-클로저가 풍부한 시퀀스가 수중에서 VI-SLAM 및 스테레오 SLAM 방법의 평가에 도움이 되는가?

주요 결과

• FLSea 컬렉션은 지중해와 홍해에서 수집된 12개의 시각-관성 데이터와 4개의 수중 전방보기 스테레오 데이터로 구성된다.
• 실제 깊이 지도와 카메라 자세가 제공되며, Agisoft Metashape로 오프라인에서 생성되고 알려진 크기의 물체로 검증되었다.
• 모든 데이터세트는 보정된 기준선(스테레오) 또는 IMU(시각-관성)을 통해 내부/외부 보정 및 스케일 정보를 포함한다.
• 스테레오 데이터는 스케일 및 깊이 검증을 위한 알려진 크기의 물체와 함께 10 Hz로 동기화된 이미지 쌍을 제공한다.
• 시각-관성 데이터는 10 Hz의 단안 이미지를 IMU 데이터 20–100 Hz와 함께 제공하며, 스케일 인식이 가능한 VIO/VI-SLAM 평가를 위한 밀리초 단위 타임스탬프를 가진다.
• 실제 깊이 정확도 보고서는 검증이 가능한 물체에 대해 측정된 오차가 0.5 cm 미만임을 나타낸다.