[논문 리뷰] Single Image Haze Removal using a Generative Adversarial Network

N. Bharath Raj, N. Venkateswaran|arXiv (Cornell University)|2018. 10. 22.

Image Enhancement Techniques참고 문헌 25인용 수 20

한 줄 요약

이 논문은 단일 이미지 안개 제거를 위한 엔드 투 엔드 생성적 적대적 네트워크(GAN) 기반 방법을 제안하며, 생성기로 수정된 Tiramisu 네트워크를 사용하고, 아티팩트를 줄이기 위해 패치 기반 판별기를 도입한다. 하이브리드 가중 손실 함수는 시각적 품질을 향상시켜 합성 및 실세계 안개가 섞인 이미지에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Traditional methods to remove haze from images rely on estimating a transmission map. When dealing with single images, this becomes an ill-posed problem due to the lack of depth information. In this paper, we propose an end-to-end learning based approach which uses a modified conditional Generative Adversarial Network to directly remove haze from an image. We employ the usage of the Tiramisu model in place of the classic U-Net model as the generator owing to its higher parameter efficiency and performance. Moreover, a patch based discriminator was used to reduce artefacts in the output. To further improve the perceptual quality of the output, a hybrid weighted loss function was designed and used to train the model. Experiments on synthetic and real world hazy images demonstrates that our model performs competitively with the state of the art methods.

연구 동기 및 목표

• 깊이 정보가 누락되어 인과성이 불완전한 단일 이미지 안개 제거 문제를 해결하기 위해.
• 전이 맵 추정을 생략하는 엔드 투 엔드 학습 기반 접근법을 개발하기 위해.
• 해제화된 출력물의 시각적 품질을 향상시키고 아티팩트를 줄이기 위해.
• 합성 및 실세계 안개가 섞인 이미지에서 경쟁적인 성능을 달성하기 위해.
• Tiramisu 아키텍처의 파rameter 효율성과 성능을 GAN 프레임워크에서 안개 제거 작업에 활용하기 위해.

제안 방법

• 생성기는 Tiramisu 네트워크를 기반으로 하며, 높은 파라미터 효율성과 강력한 특징 학습 능력으로 인해 선택되었다.
• 패치 기반 판별기를 도입하여 국소적 현실감을 강화하고 해제화된 출력물의 텍스처 아티팩트를 줄였다.
• 콘텐츠 손실, 적대적 손실, 시각적 손실을 조합한 하이브리드 가중 손실 함수를 사용해 시각적 품질을 향상시켰다.
• 조건부 GAN 설정에서 엔드 투 엔드로 학습하여 직접적으로 안개가 섞인 이미지를 해제화된 이미지로 매핑하였다.
• 성능 향상과 파라미터 감소를 위해 표준 U-Net 대신 Tiramisu 생성기를 사용하였다.
• 정밀도와 현실감을 균형 있게 유지하기 위해 L1 손실, 적대적 손실, 시각적 손실의 조합을 사용해 학습하였다.

실험 결과

연구 질문

• RQ1 깊이 정보가 필요 없이 GAN 기반 접근법이 단일 이미지에서 안개를 효과적으로 제거할 수 있는가?
• RQ2 안개 제거 작업에서 U-Net 대비 Tiramisu 네트워크를 생성기로 사용할 경우 성능과 효율성이 향상되는가?
• RQ3 패치 기반 판별기가 해제화된 출력물의 아티팩트를 줄이고 국소적 이미지 품질을 향상시킬 수 있는가?
• RQ4 기본 손실 함수 대비 하이브리드 손실 함수가 시각적 품질을 얼마나 향상시키는가?
• RQ5 제안된 방법은 합성 및 실세계 안개가 섞인 이미지에서 최신 기술 수준의 방법들과 비교해 어떻게 성능을 내는가?

주요 결과

• 제안된 방법은 합성 및 실세계 안개가 섞인 이미지 데이터셋에서 경쟁적인 성능을 달성한다.
• Tiramisu 생성기의 사용은 U-Net 대비 더 높은 파라미터 효율성과 향상된 특징 표현 능력을 제공한다.
• 패치 기반 판별기는 텍스처 아티팩트를 크게 줄이고 국소적 이미지 품질을 향상시킨다.
• 하이브리드 가중 손실 함수는 시각적 품질을 향상시켜 더 자연스러운 해제화된 이미지를 만들어낸다.
• 모델은 실세계 안개가 섞인 이미지에서 강력한 일반화 능력을 보이며, 여러 기존 방법들보다 시각적 품질에서 뛰어난 성능을 보였다.
• 논문은 WiSPNET 2020에서 수락되어 발표되었으며, 관련 GitHub 리포지토리에서 지속적인 업데이트가 가능하다.