[논문 리뷰] Scalable Semantic 3D Mapping of Coral Reefs with Deep Learning

Jonathan Sauder, Guilhem Banc‐Prandi외 2명|arXiv (Cornell University)|2023. 09. 22.

3D Surveying and Cultural Heritage인용 수 5

한 줄 요약

이 논문은 자가운동 영상(ego-motion video)을 이용해 해조류 망대의 자동화된 의미론적 3차원 맵핑을 위한 확장 가능하고 저비용의 파이프라인을 제시한다. 학습 기반의 구조-운동에서의 형태(SfM)와 딥 러닝 기반의 의미론적 세그멘테이션을 융합하여, 100m 영상 트랜섹트에서 5분 이내로 고정밀도 3차원 포인트 클라우드를 생성하며, 밀도 있는 의미론적 레이블을 부여한다. 이는 노동력과 계산 자원 소모를 줄이며, 대규모 망대 모니터링을 가능하게 한다.

ABSTRACT

Coral reefs are among the most diverse ecosystems on our planet, and are depended on by hundreds of millions of people. Unfortunately, most coral reefs are existentially threatened by global climate change and local anthropogenic pressures. To better understand the dynamics underlying deterioration of reefs, monitoring at high spatial and temporal resolution is key. However, conventional monitoring methods for quantifying coral cover and species abundance are limited in scale due to the extensive manual labor required. Although computer vision tools have been employed to aid in this process, in particular SfM photogrammetry for 3D mapping and deep neural networks for image segmentation, analysis of the data products creates a bottleneck, effectively limiting their scalability. This paper presents a new paradigm for mapping underwater environments from ego-motion video, unifying 3D mapping systems that use machine learning to adapt to challenging conditions under water, combined with a modern approach for semantic segmentation of images. The method is exemplified on coral reefs in the northern Gulf of Aqaba, Red Sea, demonstrating high-precision 3D semantic mapping at unprecedented scale with significantly reduced required labor costs: a 100 m video transect acquired within 5 minutes of diving with a cheap consumer-grade camera can be fully automatically analyzed within 5 minutes. Our approach significantly scales up coral reef monitoring by taking a leap towards fully automatic analysis of video transects. The method democratizes coral reef transects by reducing the labor, equipment, logistics, and computing cost. This can help to inform conservation policies more efficiently. The underlying computational method of learning-based Structure-from-Motion has broad implications for fast low-cost mapping of underwater environments other than coral reefs.

연구 동기 및 목표

• 사진-구역 및 영상 트랜섹트의 수작업 분석에 기인한 노동 집약적인 방식으로 인해 발생하는 맹대 모니터링의 확장성 문제를 해결한다.
• 기존의 구조-운동에서의 형태(SfM) 및 의미론적 세그멘테이션의 한계를 극복하기 위해, 학습 기반의 SfM과 딥 러닝을 융합하여 종단 간 3차원 의미론적 맵핑을 실현한다.
• 고가의 장비, 전문가 노동력, 복잡한 물류에 의존하지 않고도 맹대 모니터링을 보편화하기 위해 저비용이며 완전 자동화된 파이프라인을 제공한다.
• 기후에 취약한 지역(예: 아카바 만 북부 지역)의 보존 정책 및 복원력 평가를 지원하기 위해 고해상도 및 대규모 생태계 모니터링을 가능하게 한다.
• 접근 가능한 영상 데이터와 딥 러닝을 활용해, 맹대 외의 수중 환경에 대해서도 확장 가능한 자동 3차원 맵핑 기반을 마련한다.

제안 방법

• 다이버가 착용한 소비자용 액션 카메라에서 촬영한 자가운동 영상(ego-motion video)을 활용하여, GPS나 전용 하드웨어가 필요 없도록 한다.
• 단일 영상에서 3차원 기하학적 구조와 카메라 자세를 추정하기 위해 학습 기반의 구조-운동에서의 형태(SfM) 시스템을 적용하여, 루프 클로징 또는 글로벌 최적화 없이 실시간 재구성 가능하다.
• 심층 신경망을 활용해 단일 영상의 깊이 추정 및 시각적 오도메트리(visual odometry)를 수행하여 정확한 3차원 포인트 클라우드를 영상 시퀀스에서 생성한다.
• 최신 기술의 의미론적 세그멘테이션 모델을 적용해 밀도 높은 영상 프레임에서 바닥 특성(예: 산호, 모래, 해조류 등)을 고정밀도로 분류한다.
• 예측된 3차원 기하학적 정보와 의미론적 레이블을 융합하여, 각 포인트가 바닥 유형에 해당하는 의미론적 3차원 포인트 클라우드를 생성한다.
• 초해상도 기법을 사용해 깊이 추정을 정밀하게 보완하고 기하학적 정확도를 향상시켜, 딥 러닝 추론의 해상도 제한을 보완한다.

Figure 1 : Existing conventional SfM fails to produce a coherent point cloud from uncurated image collections such as video frames. This example shows the point clouds from a video transect in the King Abdullah Reef in Aqaba, Jordan. Leftmost panel: our proposed method creates a coherent point cloud

실험 결과

연구 질문

• RQ1 완전 자동화된 학습 기반의 SfM 파이프라인이 자가운동 영상만을 사용해도 맹대 생태계 모니터링에 필요한 충분한 기하학적 정확도를 확보할 수 있는가?
• RQ2 변동하는 조명 조건과 수중 환경에서, 딥 러닝 기반의 의미론적 세그멘테이션 모델이 수중 영상 프레임에서 바닥 유형을 얼마나 정확하게 분류할 수 있는가?
• RQ3 기존 수작업 또는 반자동 방법에 비해, 제안된 파이프라인이 원시 영상에서 의미론적 3차원 포인트 클라우드로 변환하는 데 얼마나 확장 가능하고 효율적인가?
• RQ4 GPS나 루프 클로징 없이도, 시각적 트랜섹트 마커만으로 지리적으로 정확한 3차원 재구성을 수행할 수 있는가?
• RQ5 이 프레임워크는 깊은 바다 탐사와 같은 다른 수중 생태계나 애플리케이션으로 확장 가능한가?

주요 결과

• 다이빙 5분 내에 촬영한 100m 영상 트랜섹트가 제안된 파이프라인을 통해 5분 이내로 의미론적 3차원 포인트 클라우드로 완전히 처리된다.
• 높은 공간 정확도와 의미론적 세그멘테이션 성능을 확보하여, 바닥 피복과 종 분포의 정밀한 정량 분석이 가능하다.
• 기존의 사진-구역 분석 또는 수작업 영상 분석 방식에 비해 노동력 비용과 물류 복잡성을 크게 감소시킨다.
• 저자들은 아카바 만 북부 지역의 자가운동 영상 대규모 데이터셋과, 바닥 세그멘테이션을 위한 정밀하게 애너테이션 처리된 영상 프레임 벤치마크 데이터셋을 공개한다.
• 고가의 센서나 GPS 없이도, 저조도 및 변동하는 조명 조건과 같은 도전적인 수중 환경에서도 강건한 성능을 보여준다.
• 충분한 애너테이션 처리된 영상 데이터가 확보되어 있다면, 맹대 외의 수중 환경(예: 망대 숲, 깊은 바다 지역 등)으로도 일반화 가능하다.

Figure 2 : Example excerpts of 3D point clouds of different reef scenarios in their original RGB color, next to the points colorized by their predicted benthic class (top). A 100 m transect (bottom) can be covered by a diver in less than five minutes: the length of the created point clouds is limite