[논문 리뷰] Restoring Vision in Hazy Weather with Hierarchical Contrastive Learning

Tao Wang, Guangpin Tao외 5명|arXiv (Cornell University)|2022. 12. 22.

Image Enhancement Techniques인용 수 4

한 줄 요약

이 논문은 계층적 상호작용 모듈을 통해 특징 융합을 향상시키고, 양성 및 음성 샘플 표현을 동시에 최적화하기 위해 계층적 대비 손실(HCL)을 도입한 새로운 이미지 해화 방법인 계층적 대비 해화(HCD)를 제안한다. HCD는 SOTS, HazeRD, DENSE-HAZE 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 이전 방법 대비 최대 +1.14 dB의 PSNR 향상을 기록하고, SSIM 및 LPIPS 점수도 향상시켰다.

ABSTRACT

Image restoration under hazy weather condition, which is called single image dehazing, has been of significant interest for various computer vision applications. In recent years, deep learning-based methods have achieved success. However, existing image dehazing methods typically neglect the hierarchy of features in the neural network and fail to exploit their relationships fully. To this end, we propose an effective image dehazing method named Hierarchical Contrastive Dehazing (HCD), which is based on feature fusion and contrastive learning strategies. HCD consists of a hierarchical dehazing network (HDN) and a novel hierarchical contrastive loss (HCL). Specifically, the core design in the HDN is a hierarchical interaction module, which utilizes multi-scale activation to revise the feature responses hierarchically. To cooperate with the training of HDN, we propose HCL which performs contrastive learning on hierarchically paired exemplars, facilitating haze removal. Extensive experiments on public datasets, RESIDE, HazeRD, and DENSE-HAZE, demonstrate that HCD quantitatively outperforms the state-of-the-art methods in terms of PSNR, SSIM and achieves better visual quality.

연구 동기 및 목표

• 기존의 딥 러닝 기반 해화 방법들이 계층적 특징을 충분히 활용하지 못하고 있으며, 음성 샘플 중심의 감독이 부족한 점을 해결하기 위해.
• CNN 기반 아키텍처에서 浅층과 깊은 층 간의 다중 스케일 특징을 융합하여 특징 표현을 향상시키기 위해.
• 양성 및 음성 샘플 쌍을 활용하는 새로운 계층적 대비 손실(HCL)을 도입함으로써 모델의 일반화 능력과 복원 품질을 향상시키기 위해.
• 합성 및 실세계 데이터셋에서 PSNR, SSIM 및 시각적 품질 측면에서 뛰어난 해화 성능을 달성하기 위해.

제안 방법

• 제안된 계층적 해화 네트워크(HDN)는 계층적 특징 추출기, 계층적 상호작용 모듈(HIM), 다중 출력 이미지 재구성 모듈을 통합하여 다중 해상도 특징 융합을 가능하게 한다.
• HIM은 고수준 의미 특징을 얕은 층으로 전파하여 노이즈를 억제하고, 저수준 세부 정보를 깊은 층으로 통합함으로써 이중 방향 특징 정제를 가능하게 한다.
• 계층적 대비 손실(HCL)은 양성 쌍(예: 정제된 이미지와 그 해화된 버전) 간의 유사도를 최대화하고, 음성 쌍(예: 안개가 낀 입력과 정제된 이미지) 간의 이질성을 최대화함으로써 네트워크의 다수의 계층에서 작동하도록 설계되었다.
• HCL는 계층적으로 쌍을 이룬 예시들에 기반하여 작동하며, 다양한 스케일에서의 특징 대비를 통해 모델이 강력한 표현을 학습하도록 한다.
• 재구성 손실과 HCL의 조합을 통해 엔드 투 엔드로 모델을 훈련시켜 픽셀 수준의 정밀도와 시각적 품질을 동시에 향상시킨다.
• HCL는 GridDehazeNet, FFA-Net, MSBDN, AECR-Net 등의 최신 기술 수준 네트워크에 적용되었을 때도 일반적으로 효과적이며, 이로 인해 PSNR와 SSIM 점수가 향상됨을 입증하였다.

실험 결과

연구 질문

• RQ1 다양한 스케일에서의 계층적 특징 융합이 PSNR 및 SSIM 측면에서 해화 성능 향상에 기여하는가?
• RQ2 대비 손실을 통한 음성 샘플 중심 학습을 통합함으로써 모델이 안개 성분과 정제된 콘텐츠를 더 잘 구분할 수 있는가?
• RQ3 표준 감독 외에 계층적 대비 손실 전략이 해화 네트워크의 특징 표현을 향상시킬 수 있는가?
• RQ4 제안된 HCD 방법은 합성 및 실세계 해화 벤치마크에서 최신 기술 수준 방법과 비교해 어떻게 성능을 내는가?
• RQ5 제안된 HCL 손실은 다양한 네트워크 아키텍처에 일반화 가능한가?

주요 결과

• HCD는 SOTS의 실내 서브셋에서 +1.14 dB의 PSNR 향상을 기록했으며, 실외 서브셋에서는 +0.45 dB 향상되었으며, 이는 이전 최신 기술 수준 방법들을 크게 능가하는 성능이다.
• HazeRD 데이터셋에서는 +0.83 dB의 PSNR 향상을 기록했고, DENSE-HAZE에서는 +0.61 dB 향상되었으며, 이는 기존 방법 대비 유의미한 개선이다.
• 시각적 품질 측정 지표에서 HCD는 SOTS에서 LPIPS 점수 0.0416을 기록하여 기준 모델 대비 뛰어난 시각적 품질을 확보했다.
• HCL를 기존 네트워크인 GridDehazeNet과 FFA-Net에 적용했을 때, PSNR는 최대 1.08 dB 향상되고 SSIM은 0.0051 향상되어, HCL의 일반화 능력을 입증했다.
• 제거 실험 결과, 수렴 속도를 빠르게 하지 않더라도 HCL이 테스트 PSNR를 크게 향상시킴으로써 표현 학습에서의 효과성을 입증했다.
• 시각적 비교 결과, HCD는 MPR 및 OSFD와 같은 최신 기술 수준 방법들보다 더 선명하고 밝으며, 잡음이 적은 이미지를 생성하는 것으로 나타났다.