[논문 리뷰] SCANet: Self-Paced Semi-Curricular Attention Network for Non-Homogeneous Image Dehazing

Yu Guo, Yuan Gao외 5명|arXiv (Cornell University)|2023. 04. 17.

Image Enhancement Techniques인용 수 4

한 줄 요약

이 논문은 비균일한 이미지 화이저링을 위한 자체적-반복적 반복 학습 주의망인 SCANet를 제안한다. 이는 새로운 '주의 맵 생성-장면 복원' 패러다임을 통해 화이저 농도가 높은 영역에서의 특징 추출을 향상시킨다. 밝기 인식 주의 맵 생성과 자체적-반복적 반복 학습 전략을 활용함으로써, SCANet는 상태최저 성능을 달성하며 수렴성이 향상되고 학습의 모호성이 감소한다. NTIRE 벤치마크에서 PSNR와 SSIM 측면에서 기존 방법들을 능가하면서도, 낮은 FLOPs와 파라미터 수를 유지한다.

ABSTRACT

The presence of non-homogeneous haze can cause scene blurring, color distortion, low contrast, and other degradations that obscure texture details. Existing homogeneous dehazing methods struggle to handle the non-uniform distribution of haze in a robust manner. The crucial challenge of non-homogeneous dehazing is to effectively extract the non-uniform distribution features and reconstruct the details of hazy areas with high quality. In this paper, we propose a novel self-paced semi-curricular attention network, called SCANet, for non-homogeneous image dehazing that focuses on enhancing haze-occluded regions. Our approach consists of an attention generator network and a scene reconstruction network. We use the luminance differences of images to restrict the attention map and introduce a self-paced semi-curricular learning strategy to reduce learning ambiguity in the early stages of training. Extensive quantitative and qualitative experiments demonstrate that our SCANet outperforms many state-of-the-art methods. The code is publicly available at https://github.com/gy65896/SCANet.

연구 동기 및 목표

• 비균일한 안개로 인해 발생하는 공간적으로 변화하는 열화(예: 흐림, 색상 왜곡, 저대trast) 문제를 해결하기 위해.
• 기존 방법이 종종 실패하는 고안개 농도 및 뚜렷한 밝기 변화가 있는 영역에서의 탈안개 모델의 강건성을 향상시키기 위해.
• 주의 맵 생성을 위한 자체적-반복적 반복 학습 전략을 도입함으로써, 다목적 최적화의 초기 단계에서의 학습 모호성을 줄이고 수렴성을 향상시키기 위해.
• 고품질 세부 구조 복원과 계산 효율성 사이의 균형을 이룰 수 있는 경량이지만 효과적인 아키텍처를 개발하기 위해.

제안 방법

• 이 방법은 두 개의 브랜치로 구성된 네트워크를 사용한다: 비균일한 안개 분포에 민감한 주의 맵 생성을 위한 주의 맵 생성 네트워크(AGN), 그리고 안개 제거된 이미지를 복원하기 위한 장면 복원 네트워크(SRN).
• 입력 이미지의 밝기 차이를 주의 맵 생성에 제약 조건으로 사용하여, 강한 밝기 변화가 있는 영역에 더 높은 주의를 할당하도록 보장한다.
• 다양한 목표를 동시에 최적화하는 초기 학습 단계에서의 학습 모호성을 줄이기 위해, 더 쉬운 샘플부터 점진적으로 학습하는 자체적-반복적 반복 학습(SCL) 전략을 도입한다.
• 다중 손실 목적 함수를 사용하여 네트워크를 훈련시킨다: 특징에 대한 L1 손실($\mathcal{L}_{sl1}^{f}$), 주의 맵에 대한 L1 손실($\mathcal{L}_{sl1}^{a}$), 지각적 손실($\mathcal{L}_{p}$), MS-SSIM 손실($\mathcal{L}_{\text{MS-SSIM}}$), 그리고 적대적 손실($\mathcal{L}_{a}$).
• 주의 맵은 $\mathcal{L}_{sl1}^{a}$를 통해 감독되어 중요도가 낮은 영역에 대한 과도한 주의를 방지함으로써 복원 정밀도를 향상시킨다.
• 훈련 과정에서는 지도 주의 맵($M_{GT}$)을 사용하지만, 추론 과정에서는 사용하지 않아, 모델이 주의 맵을 엔드 투 엔드로 생성하도록 유도한다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델은 실제 장면에서 비균일한 안개 분포를 효과적으로 포착하고 활용할 수 있는가?
• RQ2 다양한 목표를 동시에 최적화하는 초기 학습 단계에서 학습의 모호성을 줄이고 수렴성을 향상시키기 위한 학습 전략은 무엇인가?
• RQ3 밝기 인식 주의 감독은 고안개 및 고대비 영역에서의 질감 세부 구조 복원 능력을 향상시킬 수 있는가?
• RQ4 자기적-반복적 반복 학습 통합이 비균일 탈안개 네트워크의 성능과 안정성에 어떻게 기여하는가?
• RQ5 각 구성 요소—주의 맵 생성, 복원, 손실 함수—가 전체 탈안개 품질과 효율성에 기여하는 바는 무엇인가?

주요 결과

• SCANet는 NTIRE2020, NTIRE2021, NTIRE2023 테스트 세트를 종합적으로 평가하여 PSNR 20.37, SSIM 0.6933을 달성하며, 두 지표에서 모두 최신 기술을 능가한다.
• 제거 실험 결과, 주의 맵 생성 네트워크(AGN)를 추가함으로써 PSNR가 18.84에서 19.29로 향상되어 비균일 탈안개에 있어 필수적임을 입증한다.
• 자기적-반복적 반복 학습(SCL) 전략을 통합함으로써 PSNR가 19.92에서 20.02로 상승하여 수렴성 향상과 성능 향상을 확인한다.
• 모든 손실 함수(MS-SSIM 및 적대적 손실 포함)를 포함한 전체 모델은 최고의 PSNR(20.37)와 SSIM(0.6933)를 기록하여 다중 손실 설계의 효과를 확인한다.
• SCANet는 유사 모델 대비 낮은 FLOP 수와 적은 파라미터를 확보하여, RTX 3080 GPU에서 1200×1600 이미지당 추론 시간이 단 0.1962초에 불과하다.
• NTIRE2023 테스트 세트에서의 정성적 결과는 SCANet가 농도가 높은 영역에서 안개를 효과적으로 억제하고, 특히 하늘 및 고밝기 영역에서 자연스러운 질감과 색상 유지 능력을 보여준다.