[논문 리뷰] CANDY: Conditional Adversarial Networks based Fully End-to-End System for Single Image Haze Removal

Kunal Swami, Saikat Kumar Das|arXiv (Cornell University)|2018. 01. 09.

Image Enhancement Techniques참고 문헌 3인용 수 10

한 줄 요약

CANDY는 중간 매개변수 추정 없이 직접 안개 제거된 이미지를 예측하는 완전한 엔드 투 엔드 조건부 생성 적대적 네트워크(cGAN)를 제안한다. 적대적 손실에 인지적 품질을 통합함으로써 CANDY는 뛰어난 시각적 정밀도를 달성하고 합성 및 실세계 데이터셋에서 최신 기술을 능가한다. 이는 문헌상에서 처음으로 완전한 엔드 투 엔드 GAN 기반의 안개 제거 프레임워크이다.

ABSTRACT

Single image haze removal is a very challenging and ill-posed problem. The existing haze removal methods in literature, including the recently introduced deep learning methods, model the problem of haze removal as that of estimating intermediate parameters, viz., scene transmission map and atmospheric light. These are used to compute the haze-free image from the hazy input image. Such an approach only focuses on accurate estimation of intermediate parameters, while the aesthetic quality of the haze-free image is unaccounted for in the optimization framework. Thus, errors in the estimation of intermediate parameters often lead to generation of inferior quality haze-free images. In this paper, we present CANDY (Conditional Adversarial Networks based Dehazing of hazY images), a fully end-to-end model which directly generates a clean haze-free image from a hazy input image. CANDY also incorporates the visual quality of haze-free image into the optimization function; thus, generating a superior quality haze-free image. To the best of our knowledge, this is the first work in literature to propose a fully end-to-end model for single image haze removal. Also, this is the first work to explore the newly introduced concept of generative adversarial networks for the problem of single image haze removal. The proposed model CANDY was trained on a synthetically created haze image dataset, while evaluation was performed on challenging synthetic as well as real haze image datasets. The extensive evaluation and comparison results of CANDY reveal that it significantly outperforms existing state-of-the-art haze removal methods in literature, both quantitatively as well as qualitatively.

연구 동기 및 목표

• 기존의 안개 제거 방법이 전달도 지도나 대기 빛 강도와 같은 중간 매개변수 추정에 의존함에 따라 최종 이미지 품질이 떨어지는 문제를 해결하기 위해.
• 안개가 있는 입력에서 직접 안개 제거된 이미지를 예측하는 완전한 엔드 투 엔드 딥 러닝 프레임워크를 개발하여 중간 단계에서의 오류 전파를 제거하기 위해.
• 생성 적대적 네트워크를 활용해 인지적 이미지 품질을 최적화 과정에 통합함으로써 현실적이며 시각적으로 매력적인 출력을 보장하기 위해.
• 단일 이미지 안개 제거 분야에서 조건부 적대적 네트워크의 응용을 탐색하기 위해, 이 분야에서 새로운 접근 방식이다.

제안 방법

• CANDY는 생성자에 안개가 있는 이미지를 입력으로 받아 직접 해당하는 안개 제거된 이미지를 출력하는 조건부 GAN 아키텍처를 사용한다.
• 생성자는 적대적 손실, 사전 훈련된 VGG 네트워크에서 추출한 특징을 사용하는 인지적 손실, 그리고 구조적 세부 정보를 유지하기 위한 콘텐츠 일致성 손실을 포함하는 복합 손실 함수로 훈련된다.
• 판별자는 입력된 안개가 있는 이미지에 조건이 되어 실제 청소된 이미지와 생성된 안개 제거된 출력을 구분함으로써 현실적인 이미지 생성을 장려한다.
• 모델은 다양한 대기 빛과 전달도 값으로 물리적 영상 모델을 사용해 시뮬레이션된 안개가 포함된 합성 데이터셋에서 훈련된다.
• 고주파 수치 복구 및 시각적 선명도 향상을 위해 다중 척도 적대적 손실이 사용된다.
• 모델은 전달도 지도나 대기 빛 강도의 명시적 추정을 피함으로써 직접 엔드 투 엔드 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 완전한 엔드 투 엔드 딥 러닝 모델이 중간 매개변수 추정에 의존하는 전통적 방법보다 단일 이미지 안개 제거에서 우수한 성능을 내는가?
• RQ2 적대적 훈련에 인지적 손실과 콘텐츠 손실을 통합하면 기존 최적화 목표 함수에 비해 안개 제거된 이미지의 시각적 품질이 어떻게 향상되는가?
• RQ3 조건부 GAN 아키텍처가 전달도나 대기 빛 강도의 명시적 모델링 없이도 현실적이며 고해상도의 안개 제거된 이미지를 얼마나 잘 생성할 수 있는가?
• RQ4 합성 데이터에서 훈련되었음에도 불구하고 제안된 엔드 투 엔드 GAN 기반 접근 방식이 실세계 안개가 있는 이미지에 잘 일반화되는가?
• RQ5 적대적, 인지적, 콘텐츠 일치성 손실이 안개 제거에서 최신 기술 성능을 달성하는 데 기여하는 상대적 기여도는 무엇인가?

주요 결과

• CANDY는 벤치마크 데이터셋에서 PSNR 및 SSIM 등의 정량적 지표에서 뚜렷한 향상을 보이며 이전 최신 기술을 능가한다.
• 정성적 결과는 CANDY가 더 선명하고 자연스러운 안개 제거된 이미지를 생성하며 질감과 세부 정보를 더 잘 유지함을 보여준다.
• 모델은 실세계 안개가 있는 이미지에 잘 일반화되어 있으며, 중간 매개변수 추정에 의존하는 기존 방법보다 시각적으로 열등한 결과를 낼 수 있다.
• 제거 분석 결과는 적대적, 인지적, 콘텐츠 일치성 손실의 조합이 최적 성능을 내기 위해 필수적임을 확인한다.
• 조건부 GAN의 사용은 아티팩트가 기존 방법보다 흔한 것을 줄이며 더 현실적이고 다양한 출력을 생성하는 데 기여한다.
• CANDY는 합성 및 실세계 안개 제거 벤치마크에서 최신 기술 성능을 달성하여 그 효과성과 일반화 능력을 입증한다.