[논문 리뷰] Non-aligned supervision for Real Image Dehazing

Junkai Fan, Fei Guo외 4명|arXiv (Cornell University)|2023. 03. 08.

Image Enhancement Techniques인용 수 5

한 줄 요약

이 논문은 실사진 탈안개 처리를 위한 비정렬 지도 학습 프레임워크인 NSDNet을 제안한다. 이는 다중 척도 기반 참조 손실을 사용하여 정렬되지 않은 안개 낀 이미지와 클리어 이미지 쌍을 활용해 탈안개 네트워크를 훈련시킨다. 자기주의(self-attention)를 통해 어둠의 채널 사전 지식을 유도하여 무한한 대기 밝기(infinite airlight)를 모델링하고, 채널 주의 메커니즘을 통해 투과도를 추정함으로써, 실세계 데이터셋, 특히 415개의 모바일 촬영 이미지 쌍을 포함한 새로운 Phone-Hazy 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Removing haze from real-world images is challenging due to unpredictable weather conditions, resulting in the misalignment of hazy and clear image pairs. In this paper, we propose an innovative dehazing framework that operates under non-aligned supervision. This framework is grounded in the atmospheric scattering model, and consists of three interconnected networks: dehazing, airlight, and transmission networks. In particular, we explore a non-alignment scenario that a clear reference image, unaligned with the input hazy image, is utilized to supervise the dehazing network. To implement this, we present a multi-scale reference loss that compares the feature representations between the referred image and the dehazed output. Our scenario makes it easier to collect hazy/clear image pairs in real-world environments, even under conditions of misalignment and shift views. To showcase the effectiveness of our scenario, we have collected a new hazy dataset including 415 image pairs captured by mobile Phone in both rural and urban areas, called "Phone-Hazy". Furthermore, we introduce a self-attention network based on mean and variance for modeling real infinite airlight, using the dark channel prior as positional guidance. Additionally, a channel attention network is employed to estimate the three-channel transmission. Experimental results demonstrate the superior performance of our framework over existing state-of-the-art techniques in the real-world image dehazing task. Phone-Hazy and code will be available at https://fanjunkai1.github.io/projectpage/NSDNet/index.html.

연구 동기 및 목표

• 시간적, 기상적, 시점적 변동으로 인해 실세계 조건에서 완벽하게 정렬된 안개 낀/클리어 이미지 쌍을 수집하는 데 어려움이 존재하는 문제를 해결하기 위해.
• 합성된 안개 낀 이미지와 실세계 안개 낀 이미지 간의 도메인 차이를 줄이기 위해 지도 학습의 정렬 제약 조건을 완화함으로써 탈안개 성능을 향상시키기 위해.
• 어둠의 채널 사전 지식을 기반으로 유도된 실질적인 실수값 표현을 통해 고정된 대기 밝기를 대체하여 공간적으로 변화하는 무한한 대기 밝기를 더 정확히 모델링하기 위해.
• 세 개의 색상 채널에서의 특징 표현을 향상시키기 위해 채널 주의 메커니즘을 사용하여 투과도 추정을 향상시키기 위해.
• 새로운 실세계 데이터셋인 Phone-Hazy와 기존 벤치마크에서의 비교 평가를 통해 비정렬 지도 학습의 효과성을 입증하기 위해.

제안 방법

• 프레임워크는 대기 산란 모델에 기반한 세 개의 상호 연결된 네트워크로 구성된다: 탈안개, 대기 밝기, 투과도 네트워크.
• 픽셀 수준의 정렬이 필요 없는 지도 학습을 가능하게 하기 위해, 탈안개 출력과 정렬되지 않은 클리어 기준 이미지 간의 특징 표현을 비교하는 다중 척도 기반 参照 손실을 도입한다.
• 평균과 분산을 기반으로 한 자기주의 기반 메커니즘을 사용하여 무한한 대기 밝기를 모델링하고, 공간적 구조를 유지하기 위해 어둠의 채널 사전 지식을 위치 지도로 사용한다.
• 투과도 맵 추정에 채널 주의 모듈을 적용하여 세 개의 색상 채널 간의 특징을 적응적으로 가중한다.
• 다중 척도 기반 참조 손실을 사용하여 탈안개 네트워크를 엔드 투 엔드로 훈련시키며, 현실감 있는 결과와 세부 사항 보존을 향상시키기 위해 adversarial 손실과 컨텍스트 손실을 결합한다.
• 실세계에서의 실용적 구현을 가능하게 하기 위해, 농촌 및 도시 환경에서 모바일 폰으로 촬영한 415개의 안개 낀/클리어 이미지 쌍을 포함한 새로운 실세계 데이터셋인 Phone-Hazy를 수집한다.

실험 결과

연구 질문

• RQ1 정렬되지 않은, 등록되지 않은 안개 낀 이미지와 클리어 이미지 쌍을 사용한 비정렬 지도 학습이 여전히 효과적인 탈안개 성능을 낼 수 있는가?
• RQ2 고정된 대기 밝기 가정 대비 공간적으로 변화하는 무한한 대기 밝기를 모델링하는 것이 탈안개 품질을 얼마나 향상시키는가?
• RQ3 픽셀 수준 또는 분포 수준의 손실 대비, 특징 수준 비교에 기반한 다중 척도 기반 참조 손실이 비정렬 환경에서 얼마나 더 우수한 성능을 내는가?
• RQ4 어둠의 채널 사전 지식을 유도로 사용하는 자기주의 기반 메커니즘이 실제 세계의 무한한 대기 밝기 변화를 효과적으로 모델링할 수 있는가?
• RQ5 RTTS와 같은 실세계 벤치마크에서 최신 기술 수준의 모델들과 비교해 볼 때, 제안된 방법은 어떻게 성능을 내는가?

주요 결과

• 합성된 Foggy Cityscapes 데이터셋에서 NSDNet은 PSNR 29.35와 SSIM 0.96을 기록하여, Dehamer와 C2PNet과 같은 최신 기술 수준(SOTA) 모델을 포함한 모든 이전 방법들을 능가한다.
• 실세계 RTTS 데이터셋에서 NSDNet은 FADE 0.7419와 NIQE 3.6905를 기록하며, 지도 학습에 기반한 PMNet과 DeHamer 등의 모델들을 크게 능가한다.
• Phone-Hazy와 RTTS에서의 시각적 비교 결과, NSDNet은 RefineNet, D4, CDD-GAN, DAD와 비교해 더 선명하고 자연스러운 결과를 내며 더 적은 잡음과 더 나은 세부 사항 복원을 보였다.
• 절단 실험을 통해 다중 척도 기반 참조 손실과 자기주의 기반 대기 밝기 모듈이 특히 정렬이 어긋나거나 복잡한 실세계 장면을 다룰 때 성능 향상에 핵심적인 역할을 한다는 것이 확인되었다.
• 새로운 Phone-Hazy 데이터셋은 완화된 조건에서도 실세계 안개 낀/클리어 이미지 쌍을 수집할 수 있음을 입증하며, 비정렬 탈안개 프레임워크의 실용적 구현 가능성을 보여준다.
• 도시 도로와 장거리 안개 조건을 포함한 다양한 실세계 시나리오에서 일반화 능력이 뛰어나며, 도전적인 테스트 이미지에서의 시각적 결과로 검증되었다.