[논문 리뷰] Semihierarchical Reconstruction and Weak-area Revisiting for Robotic Visual Seafloor Mapping

Mengkun She, Yifan Song외 2명|arXiv (Cornell University)|2023. 08. 11.

Underwater Vehicles and Communication Systems참고 문헌 54인용 수 4

한 줄 요약

이 논문은 AUV 기반 시각 데이터를 사용한 강건하고 대규모 3D 해저 지ap 맵핑을 위한 반계층적 재구성 및 약한 영역 재방문 프레임워크를 제안한다. SLAM과 구조에서 영상 추론(SfM)을 결합하고, 색상 보정 및 잘 구속되지 않은 영역의 반복 방문을 통해, 어려운 수중 조명 및 촬영 조건에서도 기하학적으로 일관된 재구성을 달성하며, 자세 그래프의 연결성과 재구성 품질을 크게 향상시킨다.

ABSTRACT

Despite impressive results achieved by many on-land visual mapping algorithms in the recent decades, transferring these methods from land to the deep sea remains a challenge due to harsh environmental conditions. Images captured by autonomous underwater vehicles (AUVs), equipped with high-resolution cameras and artificial illumination systems, often suffer from heterogeneous illumination and quality degradation caused by attenuation and scattering, on top of refraction of light rays. These challenges often result in the failure of on-land SLAM approaches when applied underwater or cause SfM approaches to exhibit drifting or omit challenging images. Consequently, this leads to gaps, jumps, or weakly reconstructed areas. In this work, we present a navigation-aided hierarchical reconstruction approach to facilitate the automated robotic 3D reconstruction of hectares of seafloor. Our hierarchical approach combines the advantages of SLAM and global SfM that is much more efficient than incremental SfM, while ensuring the completeness and consistency of the global map. This is achieved through identifying and revisiting problematic or weakly reconstructed areas, avoiding to omit images and making better use of limited dive time. The proposed system has been extensively tested and evaluated during several research cruises, demonstrating its robustness and practicality in real-world conditions.

연구 동기 및 목표

• 비균일한 조도, 빛의 감쇠 및 산산이 흩어지는 현상으로 인해 깊은 바다에서의 시각 맵핑에서 발생하는 일관되지도 않고 완전하지 못한 3D 재구성 문제를 해결하기 위해.
• 기본적인 육상 SLAM 및 SfM 방법이 실패하거나 발산하는 수중 환경에서 시각 맵핑 시스템의 강건성을 향상시키기 위해.
• 제한된 AUV 잠수 시간 동안 이미지 활용도를 극대화하기 위해 약하게 등록된 영역를 식별하고 재방문하는 효율적이고 자동화된 워크플로우를 개발하기 위해.
• 색상 보정 및 하이브리드 SLAM-SfM 처리를 통해 기능 매칭과 자세 그래프 일관성을 향상시키기 위해.
• 과학적 및 생태학적 분석에 적합한 고해상도이고 기하학적으로 정확한 대규모 해저 영역의 3D 재구성을 생성하기 위해.

제안 방법

• 시스템은 속도와 정확도를 균형 잡기 위해 키프레임 기반 추적과 점진적 최적화를 활용하는 하이브리드 SLAM 및 구조에서 영상 추론(SfM) 파이프라인을 사용한다.
• 공통된 인공 조명으로 인한 조도 불일치를 줄이기 위해 색상 보정을 적용하여 기능 대응의 신뢰도를 향상시킨다.
• 반계층적 재구성 전략은 세부 수준의 정보를 포함하는 레이어로 맵핑 과정을 조직하여 대규모 데이터셋의 효율적 처리를 가능하게 한다.
• 약한 영역 탐지 기법은 상대적 자세 제약이 부족한 이미지를 식별하고, 연결성 향상과 재구성 갭 감소를 위해 대상 영역 재방문을 유도한다.
• 재방문 후 자세 그래프는 반복적으로 최적화되어 전체 재구성에서의 일관성 향상과 드리프트 감소를 보장한다.
• 밀도 있는 다중 시점 스테레오(MVS) 및 메쉬 생성은 OpenMVS를 사용하여 원본 이미지와 보정된 이미지 모두에 적용되어 고해상도 텍스처가 구현된 3D 모델을 생성한다.

실험 결과

연구 질문

• RQ1 어떻게 하면 깊은 바다 환경에서의 비균일한 조도와 방사선 품질 열화에 강건한 시각 맵핑 시스템을 만들 수 있는가?
• RQ2 색상 보정은 수중 시각 재구성에서 기능 매칭과 자세 그래프 연결성에 얼마나 향상시키는가?
• RQ3 하이브리드 SLAM-SfM 접근법은 점진적 SfM보다 더 빠른 처리 속도를 달성하면서도 유사한 재구성 정확도를 유지할 수 있는가?
• RQ4 약한 영역 재방문은 일반적으로 생략되거나 잘 등록되지 않은 이미지를 얼마나 효과적으로 복구하는가?
• RQ5 이미지 전처리 및 재구성 파이프라인 설계는 대규모 해저 3D 모델의 최종 품질에 어떤 영향을 미치는가?

주요 결과

• 색상 보정은 특히 측면 트랙 간의 뷰 그래프 연결성을 높여 조도 불일치를 감소시켜 뚜렷하게 향상시켰다.
• 색상 보정된 이미지를 사용함으로써 SIFT 기능 매칭의 신뢰성이 향상되었으며, 이는 뷰 그래프 내 매칭 밀도 증가로 입증되었다.
• 약한 영역 재방문은 모든 약하게 구속된 영역을 성공적으로 제거하여 자세 그래프의 강건성에서 100% 향상을 달성했다.
• 최종 3D 재구성은 조명 효과를 명확히 보완하여, 외관적으로 일관되고 세밀한 메쉬를 보여주었다.
• 시스템은 도전적인 하드 씬 조건을 포함한 다양한 데이터셋에서 고해상도이고 기하학적으로 정확한 해저 모델을 성공적으로 생성하였다.
• 하이브리드 SLAM-SfM 접근법은 점진적 SfM보다 유의미하게 빠른 처리 속도를 기록하면서도 유사한 재구성 정확도를 유지했다.