[논문 리뷰] Dehaze-GLCGAN: Unpaired Single Image De-hazing via Adversarial Training

Zahra Anvari, Vassilis Athitsos|ArXiv.org|2020. 08. 15.

Image Enhancement Techniques참고 문헌 40인용 수 24

한 줄 요약

이 논문은 인코더-디코더 생성기와 인지/색상 손실을 갖춘 글로벌-로컬 사이클 일관성 있는 GAN을 사용하는 새로운 비쌍체 단일 이미지 해저징 방법인 Dehaze-GLCGAN을 제안한다. 이는 기준 데이터셋에서 단지 20%의 데이터만을 사용하여 훈련함에도 불구하고, 쌍체 데이터셋 기반 및 비쌍체 방법을 모두 능가하는 최신 기술 수준의 PSNR 및 SSIM 성능을 달성하여, 더 적은 데이터로도 뛰어난 성능을 발휘하고 지도 없이도 우수한 성능을 보임을 입증한다.

ABSTRACT

Single image de-hazing is a challenging problem, and it is far from solved. Most current solutions require paired image datasets that include both hazy images and their corresponding haze-free ground-truth images. However, in reality, lighting conditions and other factors can produce a range of haze-free images that can serve as ground truth for a hazy image, and a single ground truth image cannot capture that range. This limits the scalability and practicality of paired image datasets in real-world applications. In this paper, we focus on unpaired single image de-hazing and we do not rely on the ground truth image or physical scattering model. We reduce the image de-hazing problem to an image-to-image translation problem and propose a dehazing Global-Local Cycle-consistent Generative Adversarial Network (Dehaze-GLCGAN). Generator network of Dehaze-GLCGAN combines an encoder-decoder architecture with residual blocks to better recover the haze free scene. We also employ a global-local discriminator structure to deal with spatially varying haze. Through ablation study, we demonstrate the effectiveness of different factors in the performance of the proposed network. Our extensive experiments over three benchmark datasets show that our network outperforms previous work in terms of PSNR and SSIM while being trained on smaller amount of data compared to other methods.

연구 동기 및 목표

• 실제 환경에서 흐린 조건이 다양하기 때문에, 단일 이미지 해저징에서 쌍체 데이터셋의 한계를 해결하기 위해.
• 지상 진실 이미지나 물리적 산란 모델에 의존하지 않는 확장성 있고 실용적인 해저징 솔루션을 개발하기 위해.
• 비쌍체 데이터를 활용하여 PSNR, SSIM 및 시각적 품질 측면에서 해저징 성능을 향상시키기 위해.
• 공간적으로 변하는 안개를 효과적으로 처리하고 이미지 세부 정보를 유지할 수 있는 생성기 및 판별기 아키텍처를 설계하기 위해.
• 대부분의 생성적 적대적 훈련에서 인지 손실과 색상 손실을 조합함으로써 더 현실적이고 자연스러운 해저징 이미지를 생성할 수 있음을 입증하기 위해.

제안 방법

• 공간적으로 변하는 안개를 더 잘 다루기 위해 글로벌 및 로컬 특징을 별도로 처리하는 글로벌-로컬 판별기 아키텍처를 제안한다.
• 이미지 세부 정보를 해저징 과정에서 유지하기 위해 잔차 블록을 통합한 인코더-디코더 구조 기반의 생성기를 도입한다.
• 쌍체 훈련 데이터가 필요 없이 비쌍체 이미지 간 번역을 위한 사이클 일관성 있는 GAN 프레임워크를 활용한다.
• 시각적 현실감을 향상시키고 색상 왜곡을 줄이기 위해 맞춤형 사이클 인지 손실과 색상 손실을 통합한다.
• 생성적 적대적 손실, 사이클 일관성 손실, 인지 손실, 색상 손실을 모두 사용하여 모델을 종단 간(end-to-end)으로 훈련시킨다.
• 훈련에 ITS 데이터셋의 단지 20%만을 사용하여, 이전 방법들과 비교해 데이터 효율성이 뛰어나다는 것을 입증한다.

실험 결과

연구 질문

• RQ1 쌍체 훈련 데이터가 없이도 GAN 기반 접근법이 최신 기술 수준의 해저징 성능을 달성할 수 있는가?
• RQ2 글로벌-로컬 판별기 아키텍처는 공간적으로 변하는 안개를 다루는 데 얼마나 효과적인가?
• RQ3 인지 손실과 색상 손실을 조합하면 해저징 이미지의 시각적 품질을 향상시킬 수 있는가?
• RQ4 잔차 블록을 통합한 사이클 일관성 프레임워크는 기존 비쌍체 해저징 방법보다 PSNR 및 SSIM 측면에서 뛰어난 성능을 낼 수 있는가?
• RQ5 성능을 저하시키지 않으면서도 비쌍체 해저징에서 데이터 효율성을 얼마나 향상시킬 수 있는가?

주요 결과

• SOTS 실외 데이터셋에서 Dehaze-GLCGAN은 PSNR 23.0276 및 SSIM 0.9165를 기록하여, 쌍체 기반 방법을 포함한 모든 이전 방법을 능가한다.
• NYU-Depth 데이터셋에서 모델은 PSNR 15.9780 및 SSIM 0.8208을 달성하여, CycleGAN 및 Cycle-Dehaze와 같은 비쌍체 기반 기준선을 초월한다.
• Middlebury 데이터셋에서 Dehaze-GLCGAN은 PSNR 15.6802 및 SSIM 0.8482를 기록하여 다양한 테스트 세트에 대한 강력한 일반화 능력을 보여준다.
• DCP 및 AOD-Net과 같은 이전 방법에서 흔히 발생하는 색상 왜곡 및 과도한 노출 문제를 크게 줄였다.
• 정성적 결과 분석에서 EPDN, AOD-Net 및 CycleGAN과 비교해 뛰어난 세부 정보 복원 능력과 더 자연스러운 이미지 생성 능력을 보였다.
• ITS 데이터셋의 단지 20%만을 사용해 훈련했음에도 불구하고, 전체 데이터셋으로 훈련된 방법들보다 PSNR 및 SSIM 측면에서 뛰어난 성능을 보였다.