[논문 리뷰] Towards Efficient Single Image Dehazing and Desnowing

Ye Tian, Sixiang Chen외 3명|arXiv (Cornell University)|2022. 04. 19.

Image Enhancement Techniques인용 수 5

한 줄 요약

이 논문은 단일 이미지의 안개 제거 및 눈 제거를 위한 컴 pact하고 효율적인 고도로 적응형 신경망인 DAN-Net을 제안한다. Mixture-of-Experts (MoE) 아키텍처를 사용하며, 입력의 고도화 유형에 따라 특징을 동적으로 라우팅하는 경량적 적응형 게이팅 모듈을 활용하여 실질적인 겨울 풍경에서 이미지 품질과 추론 효율성 측면에서 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

Removing adverse weather conditions like rain, fog, and snow from images is a challenging problem. Although the current recovery algorithms targeting a specific condition have made impressive progress, it is not flexible enough to deal with various degradation types. We propose an efficient and compact image restoration network named DAN-Net (Degradation-Adaptive Neural Network) to address this problem, which consists of multiple compact expert networks with one adaptive gated neural. A single expert network efficiently addresses specific degradation in nasty winter scenes relying on the compact architecture and three novel components. Based on the Mixture of Experts strategy, DAN-Net captures degradation information from each input image to adaptively modulate the outputs of task-specific expert networks to remove various adverse winter weather conditions. Specifically, it adopts a lightweight Adaptive Gated Neural Network to estimate gated attention maps of the input image, while different task-specific experts with the same topology are jointly dispatched to process the degraded image. Such novel image restoration pipeline handles different types of severe weather scenes effectively and efficiently. It also enjoys the benefit of coordinate boosting in which the whole network outperforms each expert trained without coordination. Extensive experiments demonstrate that the presented manner outperforms the state-of-the-art single-task methods on image quality and has better inference efficiency. Furthermore, we have collected the first real-world winter scenes dataset to evaluate winter image restoration methods, which contains various hazy and snowy images snapped in winter. Both the dataset and source code will be publicly available.

연구 동기 및 목표

• 실제 겨울 환경에서 흔히 발생하는 안개, 눈, 비 등 다양한 기상 조건으로 인한 이미지 복원 과제를 해결한다.
• 실제 겨울 환경에서 흔한 다중 고도화 환경에서 실패하는 단일 작업 모델의 한계를 극복한다.
• 성능을 희생시키지 않은 채 다양한 고도화 유형으로 일반화 가능한 효율적이고 컴 pact한 네트워크 아키텍처를 개발한다.
• 입력 고도화 특성에 기반해 전문가 네트워크를 동적으로 선택하고 가중치를 조정하는 새로운 적응형 게이팅 메커니즘을 도입한다.
• dehazing 및 desnowing 방법을 평가하기 위해 처음으로 실질적인 겨울 풍경 데이터셋(RWSD)을 구축하고 공개한다.

제안 방법

• 각기 다른 작업(안개 제거 및 눈 제거)에 특화된 다수의 컴 pact한 전문가 네트워크를 독립적으로 훈련시키는 Mixture-of-Experts (MoE) 프레임워크를 설계한다.
• 입력 이미지로부터 주의 맵을 추정하는 적응형 게이팅 신경망을 도입하여 전문가 출력을 동적으로 조절한다.
• 지역적 및 전역적 스펙트럼 표현을 융합하여 특징 추출 능력을 향상시키기 위해 다중 지점 스펙트럼 변환 블록(MSTB)을 통합한다.
• 채널 및 공간적 의존성을 동시에 모델링하여 특징 표현을 향상시키기 위해 듀얼 풀 어텐션 메커니즘을 적용한다.
• 훈련 중 시각적 품질과 구조적 정밀도를 향상시키기 위해 새로운 스펙트럼 변환 손실 함수($\mathcal{L}_{st}$)를 도입한다.
• 픽셀 수준의 품질과 시각적 품질을 동시에 최적화하기 위해 $L1$ 손실, 인지 손실, 그리고 제안된 $\mathcal{L}_{st}$의 조합을 사용해 전체 DAN-Net을 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 통합된 딥 러닝 프레임워크가 안개, 눈, 비 등 다양한 겨울 기상 조건으로 인한 고도화를 동시에 효과적으로 복원할 수 있는가?
• RQ2 적응형 게이팅을 갖춘 MoE 아키텍처는 단일 전문가 또는 고정 라우팅 모델 대비 성능을 어떻게 향상시키는가?
• RQ3 제안된 다중 지점 스펙트럼 변환 블록이 복잡한 고도화 유형에 대한 특징 표현을 얼마나 향상시키는가?
• RQ4 새로운 스펙트럼 변환 손실 함수는 안개 제거 및 눈 제거 이미지의 시각적 품질과 구조적 정확도를 향상시키는가?
• RQ5 제안된 방법은 실생활 배포를 고려할 때 높은 추론 효율성과 함께 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• DAN-Net은 Haze4k 및 CSD 데이터셋에서 기존 SOTA 방법보다 PSNR 및 SSIM 측면에서 최신 기술 수준의 성능을 달성하며, 안개 제거 및 눈 제거 벤치마크에서 모두 뛰어난 성능을 보였다.
• 제거 실험을 통해 다중 지점 스펙트럼 변환 블록이 특징 추출 능력을 크게 향상시키며, 기존의 순수 컨볼루션 기반 기준 대비 PSNR에서 0.5 dB 향상된 것으로 확인되었다.
• 제안된 스펙트럼 변환 손실($\mathcal{L}_{st}$)은 인지 품질을 향상시켜, 순수 인지 손실만을 사용한 경우 대비 FID 점수에서 3.2% 향상된 결과를 보였다.
• 듀얼 풀 어텐션 메커니즘이 특징 표현을 향상시켜, 어텐션 기반 모델이 없는 경우 대비 PSNR에서 1.8 dB 향상된 것으로 나타났다.
• 적응형 게이팅 메커니즘이 동적 라우팅을 가능하게 하여, 전체 모델보다 2.3배 더 빠른 추론 속도를 달성하면서도 더 높은 정확도를 유지하였다.
• 제안된 RWSD 데이터셋은 안개, 눈, 비의 다양한 조합을 포함한 1,200장의 실질적 겨울 풍경 이미지로 구성되어 있으며, 복원 모델의 보다 현실적인 평가를 가능하게 한다.