[논문 리뷰] DW-GAN: A Discrete Wavelet Transform GAN for NonHomogeneous Dehazing

Minghan Fu, Liu Huan외 3명|arXiv (Cornell University)|2021. 04. 18.

Image Enhancement Techniques참고 문헌 41인용 수 4

한 줄 요약

DW-GAN은 비균일한 이미지 복원을 위한 이중 브랜치 GAN을 제안하며, 고주파 수치를 유지하기 위해 2차원 이산 웨이블릿 변환(DWT)을 통합하고, ImageNet 사전 훈련된 Res2Net을 활용해 지식 정복을 수행함으로써 제한된 훈련 데이터에서 성능을 크게 향상시킴. 이 방법은 합성 및 실세계 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하였으며, NTIRE2021 복원 챌린지에서 PSNR 21.08 dB 및 SSIM 0.8393의 최고 성능 기록.

ABSTRACT

Hazy images are often subject to color distortion, blurring, and other visible quality degradation. Some existing CNN-based methods have great performance on removing homogeneous haze, but they are not robust in non-homogeneous case. The reasons are mainly in two folds. Firstly, due to the complicated haze distribution, texture details are easy to be lost during the dehazing process. Secondly, since the training pairs are hard to be collected, training on limited data can easily lead to over-fitting problem. To tackle these two issues, we introduce a novel dehazing network using 2D discrete wavelet transform, namely DW-GAN. Specifically, we propose a two-branch network to deal with the aforementioned problems. By utilizing wavelet transform in DWT branch, our proposed method can retain more high-frequency knowledge in feature maps. In order to prevent over-fitting, ImageNet pre-trained Res2Net is adopted in the knowledge adaptation branch. Owing to the robust feature representations of ImageNet pre-training, the generalization ability of our network is improved dramatically. Finally, a patch-based discriminator is used to reduce artifacts of the restored images. Extensive experimental results demonstrate that the proposed method outperforms the state-of-the-arts quantitatively and qualitatively.

연구 동기 및 목표

• 비균일한 안개 분포와 함께 텍스처 세부 정보가 쉽게 손실되는 복잡한 비균일한 안개 제거 문제를 해결하기 위해.
• ImageNet에서 사전 훈련된 특징을 활용해 제한된 데이터 환경에서의 일반화 능력 향상 및 과적합 방지를 위해.
• 네트워크 아키텍처에 이산 웨이블릿 변환을 통합해 고주파 성분(예: 윤곽선, 텍스처)을 유지하기 위해.
• 패치 기반 적대적 판별자를 통해 사진 수준의 현실감 있고 아티팩트 없는 복원 이미지를 생성하기 위해.
• 제한된 훈련 쌍을 가진 다양한 실세계 및 합성 안개 이미지 데이터셋에서 강력한 성능을 발휘하기 위해.

제안 방법

• 이중 브랜치 생성자 아키텍처를 제안함: 한 브랜치는 주파수 도메인 정보를 유지하고 파rameter 수를 줄이기 위해 DWT 기반 다운샘플링을 사용함.
• DWT 브랜치는 고주파 특징을 특징 맵에서 유지하기 위해 표준 컨볼루션 레이어를 학습 가능한 웨이블릿 다운샘플링 모듈로 대체함.
• 지식 적응 브랜치는 ImageNet에서 사전 훈련된 Res2Net을 특징 인코더로 활용해 모델에 사전 지식를 통합함으로써, 작은 데이터셋에서의 일반화 능력을 향상시킴.
• 채널 기반 및 공간 기반 주의 메커니즘을 통합해 네트워크가 중요한 특징과 안개가 농도가 높은 영역에 집중하도록 돕음.
• 지역적 현실감을 강화하고 복원 출력의 아티팩트를 줄이기 위해 패치 기반 판별자를 사용함.
• 훈련 안정성을 향상시키기 위해 NH-HAZE 및 NH-HAZE2 데이터셋의 밝기 분포를 보정하기 위해 감마 보정을 적용함.

실험 결과

연구 질문

• RQ1 GAN 기반 복원 네트워크에 이산 웨이블릿 변환을 통합함으로써 비균일한 안개에서 고주파 이미지 세부 정보를 개선할 수 있는가?
• RQ2 제한된 훈련 데이터에서 ImageNet 사전 훈련된 Res2Net을 통한 지식 정복이 모델의 일반화 능력 향상에 얼마나 효과적인가?
• RQ3 제안된 이중 브랜치 아키텍처가 실세계 및 합성 비균일한 안개 제거 벤치마크에서 정량적 지표와 시각적 품질 측면에서 기존 최신 기술 수준(SOTA) 방법을 초월하는가?
• RQ4 다른 밝기 분포를 가진 데이터셋을 결합할 때 훈련 데이터에 감마 보정을 적용하면 성능 향상에 어느 정도 기여하는가?
• RQ5 제안된 방법이 FFA 및 TDN과 비교해 최소한의 아티팩트로 도전적인 실세계 데이터셋(DENSE-HAZE 및 NH-HAZE2)에서도 강력한 복원 성능을 발휘할 수 있는가?

주요 결과

• DW-GAN은 NTIRE2021 복원 챌린지에서 PSNR 21.08 dB 및 SSIM 0.8393를 기록하여 최고 성능을 달성함.
• NH-HAZE 및 NH-HAZE2 데이터셋에서 FFA, GCANet, TDN과 같은 SOTA 방법보다 정량적 지표와 시각적 품질 측면에서 모두 뛰어난 성능을 보임.
• DENSE-HAZE 데이터셋에서 DW-GAN은 농도 높은 안개를 효과적으로 제거했으며, 색상 편향을 최소화하고 세밀한 세부 정보를 잘 유지함. FFA 및 TDN보다 뛰어난 성능 기록.
• NH-HAZE 데이터에 감마 보정(γ=0.65)을 적용함으로써 NH-HAZE2와의 밝기 분포가 보다 잘 맞춰져 분포 불일치가 감소하고 훈련 성능이 향상됨.
• DW-GAN의 추론 시간은 GCANet, FFA, TDN보다 빠르면서도 뛰어난 성능 유지를 유지함으로써 효율성-정확도의 우수한 트레이드오���을 보여줌.
• 제거 실험을 통해 DWT 브랜치와 지식 적응 브랜치가 성능 향상에 기여했으며, 주의 메커니즘이 세부 정보 복원을 더욱 향상시킴을 확인함.