[논문 리뷰] DGD-cGAN: A Dual Generator for Image Dewatering and Restoration

Salma González-Sabbagh, Antonio Robles‐Kelly외 1명|arXiv (Cornell University)|2022. 11. 18.

Image Enhancement Techniques인용 수 4

한 줄 요약

이 논문은 수중 영상의 물기 제거와 색상 복원을 위한 두 개의 생성기로 구성된 조건부 생성 적대 신경망인 DGD-cGAN을 제안한다. 첫 번째 생성기는 물기 제거된 영상을 예측하고, 두 번째 생성기는 수중 영상 형성 모델에 기반한 물리 기반 손실 함수를 사용하여 투과도 및 가림 빛 성분을 학습한다. 이는 깊이 또는 수중층 파rameter가 필요 없이 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Underwater images are usually covered with a blue-greenish colour cast, making them distorted, blurry or low in contrast. This phenomenon occurs due to the light attenuation given by the scattering and absorption in the water column. In this paper, we present an image enhancement approach for dewatering which employs a conditional generative adversarial network (cGAN) with two generators. Our Dual Generator Dewatering cGAN (DGD-cGAN) removes the haze and colour cast induced by the water column and restores the true colours of underwater scenes whereby the effects of various attenuation and scattering phenomena that occur in underwater images are tackled by the two generators. The first generator takes at input the underwater image and predicts the dewatered scene, while the second generator learns the underwater image formation process by implementing a custom loss function based upon the transmission and the veiling light components of the image formation model. Our experiments show that DGD-cGAN consistently delivers a margin of improvement as compared with the state-of-the-art methods on several widely available datasets.

연구 동기 및 목표

• 수중 영상의 퇴색 원인인 수중에서의 빛 감쇠 및 산산이 흩어짐 현상을 해결한다.
• 깊이 정보에 의존하거나 영상 복원 과정에서 물리적 일관성이 결여된 기존 방법의 한계를 극복한다.
• 입력 영상 외에 추가 정보 없이도 진정한 색상 복원과 대trast 강화를 수행하는 딥 러닝 기반 접근법을 개발한다.
• 수중 영상 형성 모델(UIFM)을 GAN 아키텍처에 통합하여 복원된 영상의 물리적 타당성을 보장한다.
• 깊이 지도나 수중층 파rameter가 없는 소규모 실세계 데이터셋에서도 이미지 일관성과 색상 복원을 동시에 최적화하여 모델을 효과적으로 훈련시킨다.

제안 방법

• 엔드 투 엔드 영상 복원을 위한 조건부 GAN 아키텍처를 사용하며, 두 개의 독립된 생성기와 하나의 판별기로 구성된다.
• 첫 번째 생성기는 수중 영상을 입력으로 받아 물기 제거 및 색상 보정된 영상을 출력한다.
• 두 번째 생성기는 수중 영상 형성 모델(UIFM)에서 유도된 고유한 손실 함수를 사용하여 투과도 및 가림 빛 성분을 추정한다.
• 손실 함수는 예측된 물기 제거 영상과 UIFM 간의 일관성을 강제로 유지하여 복사된 복사율 및 산산이 흩어지는 효과의 차이를 최소화한다.
• 두 가지 목표를 동시에 최적화한다: (1) UIFM에 대한 물리적 일관성과 (2) 기준 영상(공기 중 영상)을 기반으로 한 색상 복원 정확도.
• 깊이 지도나 수중층 파ram터가 필요 없는 실세계 수중 데이터셋에서 훈련한다.

실험 결과

연구 질문

• RQ1 깊이 또는 수중층 파ram터에 의존하지 않고도 이중 생성기 cGAN 아키텍처가 수중 영상 복원에 효과적으로 기여할 수 있는가?
• RQ2 수중 영상 형성 모델에 기반한 물리 기반 손실 함수가 복원된 영상의 일관성과 현실성 향상에 얼마나 기여하는가?
• RQ3 물기 제거와 색상 복원을 동시에 최적화하는 것이 엔드 투 엔드 또는 단일 목표 접근법보다 성능 향상에 기여하는가?
• RQ4 다양한 수중 데이터셋에서 정량적 지표와 주관적 품질 측면에서 최신 기술 수준의 방법들과 비교해 복원 성능는 어떻게 되는가?
• RQ5 소규모 훈련 세트만으로도 다양한 수준의 안개, 색상 오차, 블러를 포함한 실세계 수중 영상에 대해 모델이 잘 일반화되는가?

주요 결과

• TURBID 데이터셋에서 DGD-cGAN은 모든 기준 방법(예: FUnIE-GAN, CLAHE 포함)보다 높은 SSIM(23.8426)과 PSNR(0.7061)를 기록했다.
• EUVP, UIEB, UFO-120 데이터셋에서 DGD-cGAN은 각각 최고의 UQIM 점수(3.0829, 3.4184, 3.1885)를 기록하여 기준 영상이 없더라도 뛰어난 주관적 품질을 확보했다.
• TURBID 데이터셋에서 DGD-cGAN은 기준 영상과의 유클리드 거리(ED)가 가장 낮았으며, 삼색 ED는 2.0296로 색상 충실도가 매우 뛰어났다.
• 정성적 결과에서는 DGD-cGAN이 섬세한 디테일을 유지하면서도, 일부 경쟁 방법들과 달리 인위적인 색조(예: 주황 또는 파랑)를 유발하지 않았다.
• 다양한 수중 조건과 영상 퇴색 수준에 대해 다섯 개의 다양한 데이터셋에서 일관된 성능을 보이며, 강건성을 입증했다.
• 모든 평가 지표에서 Water-Net, Retinex, UGAN과 같은 최신 기술 수준의 방법들을 능가하여 정량적 및 주관적 품질 측면에서 우수성을 입증했다.