[논문 리뷰] Perceptually Optimized Generative Adversarial Network for Single Image Dehazing

Yixin Du, Xin Li|arXiv (Cornell University)|2018. 05. 03.

Image Enhancement Techniques참고 문헌 14인용 수 7

한 줄 요약

이 논문은 전이 지도 추정을 생략하고 딥 리소지드 네트워크를 통해 종단 간 비선형 매핑을 학습하는 직접적인 딥 러닝 접근 방식인 인지 최적화 GAN (POGAN)을 제안한다. 적응형 인지 손실과 가이드 필터링을 통합하여 환영 아티팩트를 억제하고, 특히 다양한 안개 조건과 복잡한 깊이 불연속성에서 뛰어난 인지 품질과 경쟁적인 PSNR/SSIM 성능을 달성한다.

ABSTRACT

Existing approaches towards single image dehazing including both model-based and learning-based heavily rely on the estimation of so-called transmission maps. Despite its conceptual simplicity, using transmission maps as an intermediate step often makes it more difficult to optimize the perceptual quality of reconstructed images. To overcome this weakness, we propose a direct deep learning approach toward image dehazing bypassing the step of transmission map estimation and facilitating end-to-end perceptual optimization. Our technical contributions are mainly three-fold. First, based on the analogy between dehazing and denoising, we propose to directly learn a nonlinear mapping from the space of degraded images to that of haze-free ones via recursive deep residual learning; Second, inspired by the success of generative adversarial networks (GAN), we propose to optimize the perceptual quality of dehazed images by introducing a discriminator and a loss function adaptive to hazy conditions; Third, we propose to remove notorious halo-like artifacts at large scene depth discontinuities by a novel application of guided filtering. Extensive experimental results have shown that the subjective qualities of dehazed images by the proposed perceptually optimized GAN (POGAN) are often more favorable than those by existing state-of-the-art approaches especially when hazy condition varies.

연구 동기 및 목표

• 전이 지도 기반 안개 제거 방법의 한계, 즉 오류 전파 및 낮은 인지 최적화를 해결하기 위해.
• 중간 전이 지도 추정을 제거하고 종단 간 학습을 통해 단일 이미지 안개 제거에서 인지 품질 최적화를 가능하게 하기 위해.
• 깊이 불연속성 주변의 환영 유사 아티팩트를 억제하기 위해 새로운 가이드 필터링 응용을 통해 문제를 해결하기 위해.
• 중간 안개와 야간 풍경을 포함한 다양한 안개 조건에서의 강건성과 시각적 품질 향상을 위해.
• 정량적 지표(PSNR/SSIM)와 주관적 시각 품질 양면에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 딥 리소지드 네트워크를 사용해 안개가 있는 이미지에서 안개 제거된 이미지로의 직접적인 비선형 매핑을 학습하며, 안개 제거된 이미지를 순환 잔여 학습의 固定点으로 간주한다.
• 생성적 적대적 네트워크(GAN) 프레임워크를 도입하여 판별자(discriminator)를 통해 탈안개 출력의 인지 품질을 향상시킨다.
• 안개 조건에 따라 가중치를 조정하는 적응형 인지 손실 함수를 적용하여 다양한 안개 밀도에서의 일반화 능력을 향상시킨다.
• 원본 안개가 있는 이미지를 가이드로 사용해 순환적으로 학습된 잔여 이미지에 대해 가이드 필터링을 적용하여 깊이 불연속성에서 환영 아티팩트를 효과적으로 억제한다.
• 중간 전이 지도 추정 없이 전체 시스템을 종단 간으로 학습하여 인지 품질과 구조적 정밀도를 동시에 최적화한다.
• 생성자 출력을 다시 입력으로 피드백하는 순환 잔여 학습 체계를 사용하여 고정점 해에로의 반복적 정밀화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 전이 지도 추정을 생략하는 직접적인 딥 러닝 접근 방식이 기존의 모델 기반 또는 학습 기반 방법보다 단일 이미지 안개 제거에서 더 뛰어난 인지 품질을 달성할 수 있는가?
• RQ2 다양한 안개 조건에서 적응형 인지 손실을 갖춘 적대적 학습이 탈안개 이미지의 시각적 품질 향상에 얼마나 효과적인가?
• RQ3 가이드 필터링이 깊이 불연속성 주변에서 환영 유사 아티팩트 억제에 효과적으로 재사용될 수 있는가?
• RQ4 전이 지도 추정 없이 종단 간 학습을 수행하면 다양한 실제 세계의 안개 조건에서의 강건성과 일반화 능력 향상에 기여하는가?
• RQ5 제안된 방법이 정량적 지표와 주관적 시각 평가 양면에서 최신 기술 수준의 방법보다 얼마나 뛰어나게 성능을 발휘하는가?

주요 결과

• POGAN은 특히 무거운 안개와 큰 깊이 변화를 포함한 복잡한 장면에서 최신 기술 수준의 방법들보다 뛰어난 주관적 시각 품질을 달성한다.
• ImageSet A에서 POGAN은 평균 PSNR 21.82 dB, SSIM 0.896를 기록하여 모든 테스트된 안개 조건에서 경쟁 방법들을 능가한다.
• ImageSet B에서 POGAN은 평균 PSNR 20.14 dB, SSIM 0.951을 기록하여 다양한 실제 세계 장면에서 강력한 성능을 보여준다.
• 실제 이미지(ImgaeSet C)에서 POGAN은 포트레이트, 풍경, 건축 장면에서 색상 충실도와 생생함 복원에서 다른 방법들보다 뚜렷한 우수성을 보인다.
• 적응형 인지 손실 덕분에 다양한 안개 밀도(β = 0.7에서 1.5)에서 일관된 성능을 보였으며, 무거운 안개 조건에서 평균 PSNR 16.73 dB, SSIM 0.774를 기록했다.
• 가이드 필터링 후처리가 깊이 불연속성 주변에서 환영 아티팩트를 효과적으로 감소시켰으며, 시각적 비교와 잔여 분석을 통해 확인되었다.