[논문 리뷰] 3D Surface Reconstruction of Underwater Objects

C. J. Prabhakar, Pavan Kumar|arXiv (Cornell University)|2012. 11. 09.

Image Enhancement Techniques참고 문헌 21인용 수 8

한 줄 요약

이 논문은 스테레오 영상을 사용하여 수중 물체의 새로운 3D 표면 재구성 방법을 제안한다. 조명, 산산이 흩어지는 빛, 노이즈로 인한 영상 열화 문제를 해결하기 위해 순차적 전처리(동형 필터링, 웨이블릿 노이즈 제거, 이방향 필터링), 校정되지 않은 정렬, 그래프 컷 기반의 고밀도 스테레오 매칭, 삼각측량을 수행한다. 어려운 수중 영상 조건에도 불구하고 정확한 3D 재구성 성능을 달성한다.

ABSTRACT

In this paper, we propose a novel technique to reconstruct 3D surface of an underwater object using stereo images. Reconstructing the 3D surface of an underwater object is really a challenging task due to degraded quality of underwater images. There are various reason of quality degradation of underwater images i.e., non-uniform illumination of light on the surface of objects, scattering and absorption effects. Floating particles present in underwater produces Gaussian noise on the captured underwater images which degrades the quality of images. The degraded underwater images are preprocessed by applying homomorphic, wavelet denoising and anisotropic filtering sequentially. The uncalibrated rectification technique is applied to preprocessed images to rectify the left and right images. The rectified left and right image lies on a common plane. To find the correspondence points in a left and right images, we have applied dense stereo matching technique i.e., graph cut method. Finally, we estimate the depth of images using triangulation technique. The experimental result shows that the proposed method reconstruct 3D surface of underwater objects accurately using captured underwater stereo images.

연구 동기 및 목표

• 열악한 수중 스테레오 영상에서 3D 표면 재구성을 해결하기 위해.
• 비균일한 조명, 빛 산산이 흩어짐, 흡수, 부유 입자로 인한 영상 품질 악화 문제를 완화하기 위해.
• 스테레오 매칭 이전에 영상 품질을 향상시키는 전처리 파이프라인을 개발하기 위해.
• 교정되지 않은 스테레오 정렬과 고밀도 대응 매칭을 통해 정확한 깊이 추정을 가능하게 하기 위해.
• 최소한의 교정으로 실제 수중 환경에서 신뢰할 수 있는 3D 표면 재구성을 달성하기 위해.

제안 방법

• 수중 영상의 비균일한 조명을 보정하기 위해 동형 필터링을 적용한다.
• 부유 입자로 인한 가우시안 노이즈를 줄이기 위해 웨이블릿 기반 노이즈 제거를 사용한다.
• 모서리를 보존하면서 영상을 부드럽게 하기 위해 이방향 확산 필터링을 적용한다.
• 좌우 스테레오 영상을 동일 평면에 정렬하기 위해 교정되지 않은 정렬을 수행한다.
• 정렬된 영상 간 픽셀 단위의 대응 관계를 계산하기 위해 그래프 컷 기반의 고밀도 스테레오 매칭을 구현한다.
• 정렬된 스테레오 쌍의 대응 점들로부터 삼각측량을 통해 깊이 맵을 추정한다.

실험 결과

연구 질문

• RQ1 수중 조명과 부유 입자로 인한 영상 열화 문제를 3D 재구성 이전에 효과적으로 완화할 수 있는가?
• RQ2 정확한 카메라 교정 없이도 교정되지 않은 스테레오 정렬이 정확한 깊이 추정을 가능하게 하는가?
• RQ3 그래프 컷 방법을 사용한 고밀도 스테레오 매칭이 전처리된 수중 스테레오 영상에서 어떻게 성능을 발휘하는가?
• RQ4 제안된 전처리 파이프라인이 3D 표면 재구성 정확도에 얼마나 기여하는가?
• RQ5 전체 파이프라인이 실제 스테레오 영상 쌍에서 수중 물체의 세밀한 3D 표면을 재구성할 수 있는가?

주요 결과

• 동형 필터링, 웨이블릿 노이즈 제거, 이방향 필터링으로 구성된 순차적 전처리 파이프라인은 열악한 수중 영상의 품질을 크게 향상시킨다.
• 교정되지 않은 정렬이 성공적으로 스테레오 영상 쌍을 정렬하여 정확한 대응 계산을 가능하게 한다.
• 그래프 컷 기반의 고밀도 스테레오 매칭은 정렬된 스테레오 영상 간의 대응 픽셀을 효과적으로 식별한다.
• 대응 점들의 삼각측량은 3D 표면 재구성에 신뢰할 수 있는 깊이 맵을 생성한다.
• 전체 파이프라인은 실제 스테레오 영상 데이터로부터 수중 물체의 정확한 3D 표면 재구성을 실현한다.
• 실험 결과로 검증된 바와 같이, 어려운 수중 영상 조건에서도 이 방법은 강력한 성능을 발휘한다.