[논문 리뷰] Effective Backscatter Approximation for Photometry in Murky Water

Chourmouzios Tsiotsios, Maria E. Angelopoulou외 2명|arXiv (Cornell University)|2016. 04. 29.

Water Quality Monitoring Technologies참고 문헌 1인용 수 3

한 줄 요약

이 논문은 탁한 물에서의 광학 스테레오에 대한 새로운 배산산 추정 방법을 제안하며, 배산산의 깊이 포화성과 부드러운 각도 변화 특성을 활용하여 촬영된 영상에서 직접적으로 이를 추정한다. 복잡한 배산산 성분을 제거함으로써, 강한 산란 조건에서도 정밀한 밀도 정규 및 알베도 추정이 가능해지며, 시뮬레이션 및 실제 항만 수중 실험에서 이전 방법들을 능가한다.

ABSTRACT

Shading-based approaches like Photometric Stereo assume that the image formation model can be effectively optimized for the scene normals. However, in murky water this is a very challenging problem. The light from artificial sources is not only reflected by the scene but it is also scattered by the medium particles, yielding the backscatter component. Backscatter corresponds to a complex term with several unknown variables, and makes the problem of normal estimation hard. In this work, we show that instead of trying to optimize the complex backscatter model or use previous unrealistic simplifications, we can approximate the per-pixel backscatter signal directly from the captured images. Our method is based on the observation that backscatter is saturated beyond a certain distance, i.e. it becomes scene-depth independent, and finally corresponds to a smoothly varying signal which depends strongly on the light position with respect to each pixel. Our backscatter approximation method facilitates imaging and scene reconstruction in murky water when the illumination is artificial as in Photometric Stereo. Specifically, we show that it allows accurate scene normal estimation and offers potentials like single image restoration. We evaluate our approach using numerical simulations and real experiments within both the controlled environment of a big water-tank and real murky port-waters.

연구 동기 및 목표

• 배산산으로 인한 이미지 품질 저하 문제를 해결함으로써, 이미지 형성 과정을 왜곡시키고 정규 및 알베도 추정을 어렵게 만드는 요소를 해결한다.
• 기존 방법들이 배산산을 간과하거나 비현실적인 조명 조건(예: 원거리 조명원)을 가정하는 등의 한계를 극복한다.
• 특히 무문자 또는 저특징 표면에 대해 인공 조명을 사용하여 탁한 물 환경에서도 정확한 시나리오 재구성을 가능하게 한다.
• 단일 영상 복원과 강한 산란 조건 하에서의 강인한 광학 스테레오의 실현 가능성을 입증한다.
• 중간 매질 또는 조명 파rameter에 대한 사전 지식이 없는 실시간 로봇 수중 시스템에 적합한 캘리브레이션 불필요한 배산산 추정 방법을 제공한다.

제안 방법

• 배산산이 짧은 거리 이상의 깊이에서 포화되며, 깊이에 독립적이고 빛원천에서 픽셀까지의 기하학적 관계에만 의존함을 관찰한다.
• 각 픽셀의 빛원천에 대한 각도 위치에 따라 변화하는 배산산 신호를 이미지 평면 전반에 걸쳐 부드러운 함수로 모델링한다.
• 영상에서 측정된 몇 개의 배산산 값에 기반하여 저차수 다항식 회귀(예: 2차 다항식)를 사용해 각 픽셀의 배산산을 근사한다.
• 또 다른 방법으로, 카메라를 무한원거리로 향하게 하여 촬영한 영상(균일한 조도)을 통해 직접적으로 배산산 수준을 측정한다.
• 측정된 밝기에서 추정된 배산산을 빼내어 장면 반사 성분을 분리함으로써, 기존의 광학 스테레오 최적화 기법을 그대로 적용할 수 있다.
• 캘리브레이션된 및 캘리브레이션되지 않은 환경 모두에서 적용 가능하며, 다중 시점 광학 스테레오 및 단일 영상 복원 모두를 지원한다.

실험 결과

연구 질문

• RQ1 매질의 물리적 특성과 깊이에 대한 복잡한 의존성을 모델링하지 않고도 탁한 물에서의 배산산을 효과적으로 근사할 수 있는가?
• RQ2 빛원천에 대한 픽셀 위치의 각도 의존성이 이미지 형성과 재구성 품질에 어떤 영향을 미치는가?
• RQ3 배산산의 부드럽고 저차원적인 근사가 고산란 환경에서 정확한 광학 스테레오 재구성에 기여할 수 있는가?
• RQ4 기존 방법들이 배산산을 간과하거나 비현실적인 조명 조건을 가정하는 것에 비해 제안된 방법이 더 우수한 성능을 보이는가?
• RQ5 동일한 배산산 추정 프레임워크를 매질 또는 조명 파rameter에 대한 사전 지식 없이 단일 영상 복원에 확장할 수 있는가?

주요 결과

• 배산산은 짧은 거리 이상의 깊이에서 포화되며, 이로 인해 장면의 깊이에 영향을 받지 않고 단지 빛원천에서 픽셀까지의 기하학적 관계에만 의존하게 되어 모델링이 단순화된다.
• 각 픽셀의 빛원천에 대한 각도 관계에 따라 이미지 평면 전반에 걸쳐 배산산 신호가 부드럽게 변화하므로, 회귀 기반의 근사가 가능하다.
• 실제 항만 수중 환경에서 강한 산란 조건에서도 청정수 환경에서의 광학 스테레오 재구성 품질과 유사한 성능을 달성한다.
• 수조 내 제어 실험에서, 배산산을 간과하거나 원거리 조명을 가정하는 기존 방법들보다 본 방법이 특히 고산란 수준에서 뛰어난 성능을 보였다.
• 배산산 근사 기반의 단일 영상 복원은 대비와 알베도를 성공적으로 복원하였으며, 편광 기반 방법의 결과를 충족하거나 초월하였다.
• 실제 ROV 운영 환경에서의 성능을 입증함으로써, 이 방법은 실용적이고 강인하며, 탁한 항만 수중 환경에서 세밀한 표면 질감(예: 조개껍데기)의 재구성에 성공적으로 적용되었다.