[논문 리뷰] UWGAN: Underwater GAN for Real-world Underwater Color Restoration and Dehazing

Nan Wang, Yabin Zhou외 3명|arXiv (Cornell University)|2019. 12. 21.

Image Enhancement Techniques참고 문헌 16인용 수 107

한 줄 요약

UWGAN은 5.0?

ABSTRACT

In real-world underwater environment, exploration of seabed resources, underwater archaeology, and underwater fishing rely on a variety of sensors, vision sensor is the most important one due to its high information content, non-intrusive, and passive nature. However, wavelength-dependent light attenuation and back-scattering result in color distortion and haze effect, which degrade the visibility of images. To address this problem, firstly, we proposed an unsupervised generative adversarial network (GAN) for generating realistic underwater images (color distortion and haze effect) from in-air image and depth map pairs based on improved underwater imaging model. Secondly, U-Net, which is trained efficiently using synthetic underwater dataset, is adopted for color restoration and dehazing. Our model directly reconstructs underwater clear images using end-to-end autoencoder networks, while maintaining scene content structural similarity. The results obtained by our method were compared with existing methods qualitatively and quantitatively. Experimental results obtained by the proposed model demonstrate well performance on open real-world underwater datasets, and the processing speed can reach up to 125FPS running on one NVIDIA 1060 GPU. Source code, sample datasets are made publicly available at https://github.com/infrontofme/UWGAN_UIE.

연구 동기 및 목표

• 데이터 효율적이고 비지도 GAN 프레임워크를 사용하여 실제 수중 영상의 복원 및 대기 제거를 촉진한다.
• 공중 이미지와 깊이 맵 페어에서 현실적인 수중 이미지를 생성하기 위한 개선된 수중 영상 모델을 제안한다.
• 장면 구조를 보존하면서 합성 수중 데이터로 학습된 U-Net 기반 색 보정 및 대기 제거 네트워크를 채택한다.
• 실제 수중 데이터셋에서 기존 방법들에 비해 질적 및 양적 향상을 입증한다.
• 향후 연구를 촉진하기 위해 공개 코드 및 샘플 데이터 세트를 제공한다.

제안 방법

• 개선된 수중 영상 모델을 사용하여 공중 이미지와 깊이 맵으로부터 현실적인 수중 색 왜곡과 안개를 생성하는 비지도 GAN을 제안한다.
• 엔드투엔드 자동인코더 프레임워크에서 색 보정 및 대기 제거를 수행하기 위해 U-Net 아키텍처를 사용한다.
• 장면 내용 및 구조적 유사성을 보존하기 위해 합성 수중 데이터 세트에서 효율적으로 학습한다.
• 개방된 수중 데이터 세트에서 평가하고 처리 속도( NVIDIA 1060 GPU에서 최대 125 FPS)를 보고하여 실제 적용 가능성을 입증한다.
• 재현성을 위해 소스 코드와 샘플 데이터 세트를 공개적으로 배포한다.

실험 결과

연구 질문

• RQ1 향상된 영상 모델을 사용하여 공중 이미지와 깊이 맵으로부터 현실적인 수중 왜곡과 대기를 비지도 GAN으로 생성할 수 있는가?
• RQ2 구조적 내용을 보존하면서 색 보정 및 대기 제거를 효과적으로 수행하는 U-Net 기반 자동인코더가 가능한가?
• RQ3 제안된 UWGAN이 실제 수중 데이터셋에서 질적 및 양적 비교에서 어떤 성능을 보이는가?
• RQ4 실시간 응용을 위한 일반 하드웨어(예: NVIDIA GPU)에서 UWGAN의 실제 처리 속도는 어느 정도인가?

주요 결과

• 제안된 비지도 GAN은 입력 공중 이미지와 깊이 맵으로부터 현실적인 수중 색 왜곡과 대기를 생성할 수 있다.
• U-Net 복원 네트워크는 색 보정 및 대기 제거를 수행하는 동안 장면 구조를 보존한다.
• 질적 및 양적 평가에서 실제 수중 데이터 세트에서 경쟁력 있는 성능을 보인다.
• 본 방법은 단일 NVIDIA 1060 GPU에서 최대 125 FPS의 처리 속도를 달성한다.
• 소스 코드 및 샘플 데이터 세트는 재현성을 위해 공개적으로 이용 가능하다.