[논문 리뷰] End-to-End Single Image Fog Removal using Enhanced Cycle Consistent Adversarial Networks

Wei Liu, Xianxu Hou외 2명|arXiv (Cornell University)|2019. 02. 04.

Image Enhancement Techniques참고 문헌 33인용 수 10

한 줄 요약

이 논문은 쌍방향 일致성 생성 적대 신경망(CycleGAN)을 개선한 엔드 투 엔드 단일 이미지 안개 제거 방법인 Cycle-Defog2Refog을 제안한다. 이는 쌍방향으로 정렬되지 않은 안개가 낀 이미지와 맑은 이미지를 사용한다. 이 방법은 이중 단계 매핑 전략을 적용하고, 대기 오염 모델과 하늘 사전 지식을 통합하여 더 높은 정확도를 달성하며, 200개의 장면과 800张의 이미지를 포함하는 실세계 외부 안개-맑은 이미지 데이터셋(MRFID)을 처음으로 제안한다. 이는 정성적 및 정량적 평가에서 최신 기술(SOTA) 수준의 성능을 달성하였으며, 특히 질감 세부 정보 유지와 색상 왜곡 감소에서 뛰어난 성능을 보였다.

ABSTRACT

Single image defogging is a classical and challenging problem in computer vision. Existing methods towards this problem mainly include handcrafted priors based methods that rely on the use of the atmospheric degradation model and learning based approaches that require paired fog-fogfree training example images. In practice, however, prior-based methods are prone to failure due to their own limitations and paired training data are extremely difficult to acquire. Inspired by the principle of CycleGAN network, we have developed an end-to-end learning system that uses unpaired fog and fogfree training images, adversarial discriminators and cycle consistency losses to automatically construct a fog removal system. Similar to CycleGAN, our system has two transformation paths; one maps fog images to a fogfree image domain and the other maps fogfree images to a fog image domain. Instead of one stage mapping, our system uses a two stage mapping strategy in each transformation path to enhance the effectiveness of fog removal. Furthermore, we make explicit use of prior knowledge in the networks by embedding the atmospheric degradation principle and a sky prior for mapping fogfree images to the fog images domain. In addition, we also contribute the first real world nature fog-fogfree image dataset for defogging research. Our multiple real fog images dataset (MRFID) contains images of 200 natural outdoor scenes. For each scene, there are one clear image and corresponding four foggy images of different fog densities manually selected from a sequence of images taken by a fixed camera over the course of one year. Qualitative and quantitative comparison against several state-of-the-art methods on both synthetic and real world images demonstrate that our approach is effective and performs favorably for recovering a clear image from a foggy image.

연구 동기 및 목표

• 쌍방향으로 정렬되지 않은 안개-맑은 이미지 훈련 데이터가 필요 없는 단일 이미지 안개 제거 문제를 해결한다.
• 맑은 하늘이나 흰색 물체가 있는 복잡한 조건에서 실패하는 기존 기반 기반 방법의 한계를 극복한다.
• 합성 데이터 생성 없이도 실세계 외부 환경에 잘 일반화되는 학습 기반 접근법을 개발한다.
• 강건한 훈련과 평가를 위해 자연 안개가 낀 이미지와 맑은 이미지 쌍으로 구성된 현실적인 대규모 데이터셋을 구축한다.
• GAN 프레임워크에 물리적 사전 지식(대기 모델 및 하늘 사전 지식)을 통합하여 이미지 품질을 향상시킨다.

제안 방법

• 안개 → 맑은 이미지 및 맑은 이미지 → 안개로의 변환 경로에서 이중 단계 매핑 전략을 도입하여 점진적으로 안개 제거 성능을 향상시킨다.
• 쌍방향 일치 손실과 적대적 훈련을 사용하여 쌍방향으로 정렬되지 않은 안개가 낀 이미지와 맑은 이미지에서 엔드 투 엔드 학습을 가능하게 한다.
• 실제 물리적 타당성을 유도하기 위해, 복원 네트워크에 대기 오염 모델 $ I(x) = J(x)T(x) + A[1-T(x)] $ 을 통합한다.
• 대기 빛 A를 추정하기 위해 하늘 사전 지식을 통합하여 고광도 영역에서의 색상 왜곡과 잡음 감소를 도모한다.
• 안개 → 맑은 이미지와 맑은 이미지 → 안개 양 방향에 대해 각각 하나의 판별기(Discriminator)를 훈련시켜 양 도메인에서 현실적인 이미지 분포를 강화한다.
• 200개의 자연 외부 장면을 포함하며, 각 장면에 대해 맑은 이미지 1장과 안개가 낀 이미지 4장이 포함된 MRFID 데이터셋을 훈련 및 평가에 활용한다.

실험 결과

연구 질문

• RQ1 쌍방향으로 정렬되지 않은 훈련 데이터가 없이도 GAN 기반 접근법이 고성능 단일 이미지 안개 제거를 달성할 수 있는가?
• RQ2 이중 단계 매핑 전략은 단일 단계 GAN에 비해 안개 제거 성능을 어떻게 향상시키는가?
• RQ3 물리적 사전 지식(대기 모델 및 하늘 사전 지식)을 통합할 경우 잡음과 비현실적인 요소는 얼마나 감소하고 현실감은 얼마나 향상되는가?
• RQ4 제안된 방법은 합성 기반 벤치마크와 비교해 실세계 안개가 낀 이미지에서 어떻게 성능을 내는가?
• RQ5 최근 수집한 실세계 안개-맑은 이미지 데이터셋(MRFID)은 안개 제거 모델의 일반화 및 평가에 어떻게 기여하는가?

주요 결과

• 제안된 방법은 합성 및 실세계 안개가 낀 이미지에서 모두 최신 기술(SOTA) 수준의 성능을 달성하였으며, 질감 세부 정보가 더 선명하고 색상 왜곡이 감소한 결과를 보였다.
• 정량적 결과에서 제안된 방법은 국소 세부 정보 유지 능력을 나타내는 엣지 복원($e$)과 대trast 복원($\overline{r}$)에서 가장 높은 값을 기록하였다.
• FADE 지표가 제안된 방법에서 낮게 나타나, 더 나은 질감 세부 정보 복원과 더 선명한 출력 결과를 확인하였다.
• 만족스러운 색상 균형 유지를 위해, 색상 과도성 편차($\delta$)가 낮게 유지되어 결과의 일관성 있는 색상 표현을 보였다.
• MRFID 데이터셋에서, 제안된 방법은 시각적 품질, 밝기, 선명도, 엣지 가시성에서 다섯 개의 최신 기술(SOTA) 방법을 모두 능가하였다.
• 매우 짙은 안개 조건에서는 제한이 있으나, 다양한 실세계 외부 환경에서 강력한 내성과 일반화 능력을 입증하였다.