[논문 리뷰] Robustly Removing Deep Sea Lighting Effects for Visual Mapping of Abyssal Plains

Kevin Köser, Yifan Song외 3명|arXiv (Cornell University)|2021. 10. 01.

Robotics and Sensor-Based Localization인용 수 5

한 줄 요약

이 논문은 주로 균일한 해저 표면 영역의 통계적 분석을 통해 추가적 및 곱셉적 조명 효과를 추정하여 심해 영상 매핑에서 조명 잡음 현상을 제거하는 파rameter-free이며 강건한 방법을 제안한다. 이 방법은 校정 또는 학습 데이터 없이 일관된 색상 복원을 가능하게 하여 영상 일관성과 심해 평야에서 신뢰할 수 있는 시각적 매핑을 크게 향상시킨다.

ABSTRACT

The majority of Earth's surface lies deep in the oceans, where no surface light reaches. Robots diving down to great depths must bring light sources that create moving illumination patterns in the darkness, such that the same 3D point appears with different color in each image. On top, scattering and attenuation of light in the water makes images appear foggy and typically blueish, the degradation depending on each pixel's distance to its observed seafloor patch, on the local composition of the water and the relative poses and cones of the light sources. Consequently, visual mapping, including image matching and surface albedo estimation, severely suffers from the effects that co-moving light sources produce, and larger mosaic maps from photos are often dominated by lighting effects that obscure the actual seafloor structure. In this contribution a practical approach to estimating and compensating these lighting effects on predominantly homogeneous, flat seafloor regions, as can be found in the Abyssal plains of our oceans, is presented. The method is essentially parameter-free and intended as a preprocessing step to facilitate visual mapping, but already produces convincing lighting artefact compensation up to a global white balance factor. It does not require to be trained beforehand on huge sets of annotated images, which are not available for the deep sea. Rather, we motivate our work by physical models of light propagation, perform robust statistics-based estimates of additive and multiplicative nuisances that avoid explicit parameters for light, camera, water or scene, discuss the breakdown point of the algorithms and show results on imagery captured by robots in several kilometer water depth.

연구 동기 및 목표

• 이동하는 조명원, 산산이 흩어지는 빛, 투과 손실 등으로 인해 발생하는 심해 영상 매핑에서의 영상 외관 불일관성 문제를 해결한다.
• 조명, 카메라, 수질 파ram터에 대한 사전 지식이 필요한 물리 모델의 한계를 극복한다.
• 알 수 없는 조명 조건에 강건하며 교정되지 않거나 구형의 심해 영상에 적용 가능한 전처리 방법을 개발한다.
• 평탄하고 균일한 해저 표면 영역에서 조명에 기인한 색상 변동을 최소화하여 신뢰할 수 있는 영상 매칭, SLAM, 3D 재구성 가능하게 한다.
• 학습용 레이블이 없는 심해 환경에서 사용할 수 없는 것을 고려해, 애초에 애노테이션된 학습 데이터에 의존하지 않고 대규모 모자이크 생성에 실시간 성능을 달성한다.

제안 방법

• 관측된 영상을 진짜 알베도와 조명 효과의 조합으로 모델링하며, 산산이 흩어지는 것과 투과 손실을 나타내는 추가적 및 곱셉적 성분으로 분해한다.
• 특히 중앙값과 중앙값 평균편차(MAD)를 사용하여 다수의 영상에서 주로 균일한 해저 표면의 색상과 조명 왜곡을 강력한 통계 기반으로 추정한다.
• 파ram터가 없는 정규화를 적용하여, 서로 겹치는 해저 픽셀 간의 색상 차이를 최소화함으로써 각 영상을 공통의 화이트 밸런스로 조정한다.
• 다중 입력 영상에서 모자이크 픽셀을 뒤로 매핑하여 일관성 지표(RMSE)를 계산하고, 겹치는 영역에서 지상 진실과 유사한 일관성에 대한 성능을 평가한다.
• 조명원 기하학, 카메라 자세, 수질 성질을 명시적으로 모델링하지 않는 강력한 비모수적 접근 방식을 사용한다.
• 대규모 심해 영상 모자이킹에 적합한 실시간에 가까운 처리를 효율적으로 구현한다.

실험 결과

연구 질문

• RQ1 교정 또는 학습 데이터 없이 심해 영상에서의 조명 잡음 현상을 효과적으로 제거할 수 있는가?
• RQ2 조명, 카메라, 수질에 대한 물리적 파ram터가 없는 상황에서 추가적 및 곱셉적 조명 효과를 어떻게 강력하게 추정할 수 있는가?
• RQ3 제안된 방법이 대규모 해저 모자이크의 겹치는 시야 간 영상 일관성에 어느 정도 향상시키는가?
• RQ4 이 방법은 교정되지 않거나 구형의 심해 영상 시퀀스에 적용되어 시각적 매핑 성능을 향상시킬 수 있는가?
• RQ5 이 방법은 심해 환경에서 영상 매칭, SLAM, 3D 재구성 등의 후속 작업에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 특히 2차원 모자이크에서 겹치는 픽셀 간 색상 차이의 RMSE가 낮아, 기존 기법보다 영상 일관성 측면에서 뛰어나다.
• 다른 방법들과 달리 영상 경계에 어두운 테두리가 생기는 것을 방지하여, 대규모 모자이킹과 루프 검출에 있어 매우 중요하다.
• 원본 영상에서 강한 조명 변동이 있더라도, 동일한 물체의 여러 시야에서 색상 일관성을 잘 유지한다.
• 학습 데이터가 전혀 필요 없이도 일관성 향상 효과를 크게 달성하여, 역사적 또는 교정되지 않은 심해 영상에 적합하다.
• 알고리즘이 실시간에 가까운 속도로 실행되어 대규모 시각적 매핑 파이프라인에서 실용적으로 활용 가능하다.
• 지역적인 그림자와 미세 지형을 유지하면서도 대규모 조명 잡음 현상을 효과적으로 제거하여, 후속 처리에 대한 구조적 정밀도를 유지한다.