[논문 리뷰] Fully Non-Homogeneous Atmospheric Scattering Modeling with Convolutional Neural Networks for Single Image Dehazing

Cong Wang, Yan Huang외 2명|arXiv (Cornell University)|2021. 08. 25.

Image Enhancement Techniques참고 문헌 38인용 수 8

한 줄 요약

이 논문은 대기광 인자(Atmospheric Light Factor, ALF)와 각도 산산산란 계수(Angular Scattering Coefficient, ASC)를 픽셀 단위로 변화하는 변수로 간주하는 완전한 비균질 대기 산산산란 모델(Fully Non-Homogeneous Atmospheric Scattering Model, FNH-ASM)을 제안한다. 이는 복잡한 실제 흐린 풍경을 정확하게 모델링할 수 있도록 한다. 또한, 매개변수 추정 편향을 줄이기 위해 새로운 비용 민감한 손실 함수 두 가지—beta-Loss와 D-Loss—를 도입한 새로운 CNN 기반 탈안개 네트워크(FNHD-Net)를 제안하며, 특히 농도가 높고 이질적인 안개 조건에서 뛰어난 탈안개 성능을 달성한다.

ABSTRACT

In recent years, single image dehazing models (SIDM) based on atmospheric scattering model (ASM) have achieved remarkable results. However, it is noted that ASM-based SIDM degrades its performance in dehazing real world hazy images due to the limited modelling ability of ASM where the atmospheric light factor (ALF) and the angular scattering coefficient (ASC) are assumed as constants for one image. Obviously, the hazy images taken in real world cannot always satisfy this assumption. Such generating modelling mismatch between the real-world images and ASM sets up the upper bound of trained ASM-based SIDM for dehazing. Bearing this in mind, in this study, a new fully non-homogeneous atmospheric scattering model (FNH-ASM) is proposed for well modeling the hazy images under complex conditions where ALF and ASC are pixel dependent. However, FNH-ASM brings difficulty in practical application. In FNH-ASM based SIDM, the estimation bias of parameters at different positions lead to different distortion of dehazing result. Hence, in order to reduce the influence of parameter estimation bias on dehazing results, two new cost sensitive loss functions, beta-Loss and D-Loss, are innovatively developed for limiting the parameter bias of sensitive positions that have a greater impact on the dehazing result. In the end, based on FNH-ASM, an end-to-end CNN-based dehazing network, FNHD-Net, is developed, which applies beta-Loss and D-Loss. Experimental results demonstrate the effectiveness and superiority of our proposed FNHD-Net for dehazing on both synthetic and real-world images. And the performance improvement of our method increases more obviously in dense and heterogeneous haze scenes.

연구 동기 및 목표

• 기존의 고전적 대기 산산산란 모델(Atmospheric Scattering Model, ASM) 기반 단일 이미지 탈안개 모델(Single Image Dehazing Model, SIDM)이 실제 흐린 이미지에서 성능 저하가 발생하는 문제를 해결하기 위해.
• ASM이 이미지 전반에 걸쳐 대기광 인자(Atmospheric Light Factor, ALF)와 각도 산산산란 계수(Angular Scattering Coefficient, ASC)가 일정하다고 가정하는 한계를 극복하기 위해, 실제 상황에서는 흔히 발생하지 않는 조건이므로.
• ALF와 ASC를 픽셀 간 공간적으로 변화하는 함수로 모델링할 수 있는 완전한 비균질 대기 산산산란 모델(Fully Non-Homogeneous Atmospheric Scattering Model, FNH-ASM)을 개발하여, 복잡한 안개 분포를 보다 잘 모델링하기 위해.
• 특히 탈안개 품질에 큰 영향을 미치는 민감한 영역에서 발생하는 매개변수 추정 편향의 영향을 줄이기 위해.
• FNH-ASM를 통합하고 새로운 손실 함수를 적용한 종단 간(end-to-end) 딥러닝 프레임워크인 FNHD-Net을 설계하여 안정적이고 정확한 탈안개를 수행하기 위해.

제안 방법

• 대기광 인자(Atmospheric Light Factor, ALF)와 각도 산산산란 계수(Angular Scattering Coefficient, ASC)를 공간적으로 변화하는 픽셀 기반 함수로 모델링하는 완전한 비균질 대기 산산산란 모델(Fully Non-Homogeneous Atmospheric Scattering Model, FNH-ASM)을 제안한다.
• 추정 오차가 더 큰 시각적 왜곡을 유발하는 영역에서 더 무거운 가중치를 적용하도록 설계된 두 가지 새로운 비용 민감한 손실 함수—beta-Loss와 D-Loss—를 도입한다.
• 단일 흐린 입력 이미지에서 ALF 및 ASC 지ap을 동시에 예측할 수 있는 종단 간 컨volution 신경망(FNHD-Net)을 설계한다.
• FNHD-Net을 제안된 beta-Loss와 D-Loss를 사용하여 훈련함으로써, 최종 탈안개 출력에 영향을 미치는 공간적으로 변화하는 매개변수 추정 오차의 영향을 최소화한다.
• 정확한 ALF 및 ASC 예측을 위해 국소적 및 전역적 맥락을 모두 포괄하는 다중 척도 특징 추출 백본을 활용한다.
• 학습 안정성 향상과 특징 표현 개선을 위해 잔차 학습 전략(Residual Learning Strategy)을 적용한다.

실험 결과

연구 질문

• RQ1 공간적으로 변화하는 ALF와 ASC를 갖는 완전한 비균질 대기 산산산란 모델(Fully Non-Homogeneous Atmospheric Scattering Model, FNH-ASM)이 기존 ASM 대비 실제 흐린 이미지에서 탈안개 성능을 향상시키는가?
• RQ2 FNH-ASM에서의 매개변수 추정 편향은 탈안개 품질에 어떤 영향을 미치며, 손실 함수 설계를 통해 효과적으로 완화될 수 있는가?
• RQ3 제안된 FNHD-Net이 FNH-ASM과 비용 민감한 손실 함수를 결합하여 합성 및 실제 흐린 데이터셋 모두에서 뛰어난 탈안개 결과를 달성하는가?
• RQ4 밀도가 높거나 이질적인 안개가 있는 장면에서 제안된 방법의 성능 향상이 더 두드러지는가?
• RQ5 제안된 방법이 통제된 합성 환경을 넘어서 다양한 실제 흐린 조건에서도 잘 일반화되는가?

주요 결과

• 제안된 FNHD-Net은 합성 및 실제 흐린 탈안개 벤치마크에서 기존 ASM 기반 방법들을 능가하는 최신 기술 수준의 성능을 달성한다.
• 특히 기존 ASM 기반 모델이 일정한 매개변수를 가정하기 때문에 실패하는 농도가 높고 이질적인 안개가 있는 장면에서 성능 향상이 두드러진다.
• beta-Loss와 D-Loss의 사용은 특히 민감한 영역에서 매개변수 추정 편향의 영향을 크게 줄여, 더 현실적으로 정확한 탈안개 결과를 도출한다.
• SOTS 및 Cityscapes 데이터셋에서의 정량적 평가 결과, 기준 모델 대비 PSNR와 SSIM에서 일관된 향상이 나타났으며, 특히 도전적인 실제 환경에서 두드러진 성과를 보였다.
• 절단 실험(Ablation studies)을 통해 ALF 및 ASC의 비균질 모델링과 제안된 손실 함수 모두가 성능 향상에 필수적임을 확인하였다.
• 시각적 비교 결과, FNHD-Net은 무늬나 윤곽과 같은 복잡한 영역에서 더 선명한 세부 정보와 더 적은 아티팩트를 생성함을 입증하였다.