[논문 리뷰] Gated Fusion Network for Single Image Dehazing

Wenqi Ren, Lin Ma외 5명|arXiv (Cornell University)|2018. 03. 31.

Image Enhancement Techniques참고 문헌 39인용 수 61

한 줄 요약

GFN은 흐릿한 이미지로부터 세 가지 파생 입력(WB, CE, GC)을 학습된 신뢰도 맵과 결합하는 엔드투엔드 게이트드 퓨전 네트워크를 사용하여 명시적 트랜스미션이나 대기광 추정 없이 직접 디헤이징을 가능하게 하며, 후광(halo)을 줄이기 위한 다중 스케일 정제를 활용합니다.

ABSTRACT

In this paper, we propose an efficient algorithm to directly restore a clear image from a hazy input. The proposed algorithm hinges on an end-to-end trainable neural network that consists of an encoder and a decoder. The encoder is exploited to capture the context of the derived input images, while the decoder is employed to estimate the contribution of each input to the final dehazed result using the learned representations attributed to the encoder. The constructed network adopts a novel fusion-based strategy which derives three inputs from an original hazy image by applying White Balance (WB), Contrast Enhancing (CE), and Gamma Correction (GC). We compute pixel-wise confidence maps based on the appearance differences between these different inputs to blend the information of the derived inputs and preserve the regions with pleasant visibility. The final dehazed image is yielded by gating the important features of the derived inputs. To train the network, we introduce a multi-scale approach such that the halo artifacts can be avoided. Extensive experimental results on both synthetic and real-world images demonstrate that the proposed algorithm performs favorably against the state-of-the-art algorithms.

연구 동기 및 목표

• 잘못된 priors로 인한 아티팩트를 피하기 위해 명시적 트랜스미션과 대기광 추정 없이 디헤이징을 추진한다.
• 가시성 및 색상을 회복하기 위해 여러 파생 입력을 활용하는 융합 기반 아키텍처를 도입한다.
• 강건한 디헤이징을 위해 파생 입력의 기여를 게이트하는 픽셀 단위 신뢰도 맵을 개발한다.
• Halo 아티팩트를 억제하고 복원 품질을 높이기 위해 다중 스케일 학습 전략을 도입한다.

제안 방법

• 흐린 이미지로부터 세 가지 입력을 도출한다: White Balanced (WB), Contrast Enhanced (CE), Gamma Corrected (GC).
• skip 연결이 있는 인코더-디코더 네트워크를 사용하여 특징을 추출하고 파생 입력의 신뢰도 맵을 재구성하는 방법을 학습한다.
• 최종 디헤이즈 이미지를 게이트드 융합으로 계산한다: J = C_wb ∘ I_wb + C_ce ∘ I_ce + C_gc ∘ I_gc, 여기서 ∘ 는 원소별 곱셈을 나타낸다.
• 모든 스케일에서 MSE를 적용하는 다중 스케일 손실로 샤프한 이미지 피라미드를 형성하고 halo 아티팩트를 줄이도록 학습한다.
• 선택적으로 판별기를 포함한 적대적 손실을 도입하여 더 선명하고 현실적인 출력을 유도한다(GAN 프레임워크).
• 전송 t(x)나 대기광 A의 명시적 추정 없이 엔드투엔드로 학습하여 잘못된 priors로 인한 아티팩트를 피한다.

실험 결과

연구 질문

• RQ1 단일 흐릿한 이미지에서 파생 입력을 결합한 게이트드 퓨전 프레임워크가 명시적 트랜스미션 및 대기광 추정에 의존하는 방법보다 더 나은 성능을 낼 수 있는가?
• RQ2 학습된 픽셀 단위 신뢰도 맵이 디헤이징을 위해 각 파생 입력에서 가장 정보가 풍부한 영역을 효과적으로 선택하는가?
• RQ3 다중 스케일 학습 전략이 halo 아티팩트를 줄이고 다양한 안개 수준에서 복원 품질을 향상시키는가?
• RQ4 제안 방법이 합성 및 실제 이미지에서 PSNR 및 SSIM 측면에서 최신 디헤이징 방법과 어떻게 비교되는가?

주요 결과

• 본 방법은 합성 및 실제 흐릿한 이미지 모두에서 최신 방법에 비해 우수한 성능을 보인다.
• 다중 스케일 정제는 단일 스케일 버전에 비해 halo 아티팩트를 줄이고 에지 선명도를 향상시킨다.
• 학습된 신뢰도 맵을 통한 게이팅은 색상 왜곡을 줄이고 중요한 장면 디테일을 보존한다.
• NVIDIA K80 GPU에서 640×480 이미지를 약 0.3초에 처리하는 효율성을 시연한다.
• 적대적 손실로 학습하면 일부 경우에 지각 품질이 더 향상될 수 있으며, 다른 경우에는 여전히 높은 SSIM을 유지한다.