[논문 리뷰] A Two-branch Neural Network for Non-homogeneous Dehazing via Ensemble Learning

Yankun Yu, Liu Huan외 4명|arXiv (Cornell University)|2021. 04. 18.

Image Enhancement Techniques참고 문헌 41인용 수 5

한 줄 요약

이 논문은 제한된 훈련 데이터 하에서 비균일한 이미지 화이트닝을 위해 전이 학습과 데이터 특화 특징 학습을 결합하는 이중 브랜치 신경망을 제안한다. ImageNet으로 사전 훈련된 Res2Net 브랜치와 무작위로 초기화된 RCAN 기반 브랜치의 특징을 학습 가능한 융합 헤드를 통해 융합함으로써, NTIRE2021을 포함한 소규모 실세계 화이트닝 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하였다. PSNR는 21.0183, SSIM는 0.8370을 기록하였다.

ABSTRACT

Recently, there has been rapid and significant progress on image dehazing. Many deep learning based methods have shown their superb performance in handling homogeneous dehazing problems. However, we observe that even if a carefully designed convolutional neural network (CNN) can perform well on large-scaled dehazing benchmarks, the network usually fails on the non-homogeneous dehazing datasets introduced by NTIRE challenges. The reasons are mainly in two folds. Firstly, due to its non-homogeneous nature, the non-uniformly distributed haze is harder to be removed than the homogeneous haze. Secondly, the research challenge only provides limited data (there are only 25 training pairs in NH-Haze 2021 dataset). Thus, learning the mapping from the domain of hazy images to that of clear ones based on very limited data is extremely hard. To this end, we propose a simple but effective approach for non-homogeneous dehazing via ensemble learning. To be specific, we introduce a two-branch neural network to separately deal with the aforementioned problems and then map their distinct features by a learnable fusion tail. We show extensive experimental results to illustrate the effectiveness of our proposed method.

연구 동기 및 목표

• 기존 대기 산산모델로는 모델링하기 어려운 비균일하게 분포된 안개를 처리하는 데 도전한다.
• NH-Haze 2021과 같이 훈련 쌍이 25组 뿐인 실세계 화이트닝 데이터셋에서 제한된 훈련 데이터로 인한 과적합 문제를 해결한다.
• 기존의 CNN 기반 방법이 일반화 능력 부족과 색상 왜곡으로 인해 실패하는 복잡한 실세계 환경에서의 화이트닝 성능을 향상시킨다.
• 사전 훈련된 특징(전이 학습)과 데이터 특화 특징 학습을 융합하여 강건성과 시각적 품질을 향상시키는 효과를 입증한다.

제안 방법

• 이 방법은 이중 브랜치 신경망을 사용한다: 하나의 브랜치는 ImageNet에서 사전 훈련된 Res2Net 모델을 사용하여 과적합을 줄이고 강력한 초기 특징을 제공한다.
• 두 번째 브랜치는 제한된 화이트닝 데이터셋에서 데이터 특화 표현을 학습하기 위해 처음부터 훈련되는 잔차 채널 주의망(RCAN)이다.
• 두 브랜치의 특징은 연결되어 학습 가능한 융합 헤드를 통과하여 최종 화이트닝 출력 이미지로 매핑된다.
• 색상 충실도와 구조적 세부 정보를 유지하기 위해 시각적 손실과 재구성 손실의 조합을 사용하여 네트워크를 엔드 투 엔드로 훈련한다.
• NTIRE2020 데이터셋에 감마 보정(0.65)을 적용하여 NTIRE2021의 추가 훈련 데이터로 사용할 때 도메인 이탈을 줄인다.
• Adam 옵timizer와 학습률 스케줄링을 사용한 표준 딥러닝 훈련 프rotocol을 통해 모델을 최적화한다.

실험 결과

연구 질문

• RQ1 전이 학습과 데이터 특화 특징 학습을 융합하는 이중 브랜치 신경망 아키텍처가 제한된 훈련 데이터 하에서 기존 방법보다 비균일한 화이트닝 성능을 뛰어나게 할 수 있는가?
• RQ2 ImageNet 사전 훈련이 소규모 실세계 화이트닝 데이터셋에서 과적합을 줄이고 일반화 능력을 향상시키는 데 얼마나 효과적인가?
• RQ3 다른 특징 표현(사전 훈련된 것과 데이터 특화된 것)을 앙상블하는 방식이 화이트닝 이미지의 시각적 품질과 구조적 충실도를 얼마나 향상시키는가?
• RQ4 실세계 및 합성 벤치마크에서 PSNR, SSIM 및 시각적 품질 측면에서 제안된 방법은 최신 기술 수준 방법과 어떻게 비교되는가?

주요 결과

• 제안된 방법은 NTIRE2021 테스트 세트에서 PSNR 21.0183, SSIM 0.8370을 기록하여 FFA, TDN, GCANet 등 모든 베이스라인 방법을 능가하였다.
• RESIDE(ITS) 데이터셋에서 제안된 방법은 비교된 모든 방법 중 가장 높은 PSNR와 SSIM를 기록하여 합성 및 실세계 데이터에 대한 강력한 일반화 능력을 입증하였다.
• 시각적 결과는 다른 방법보다 색상 충실도와 물체 세부 정보를 더 잘 유지하며, 특히 도전적인 실세계 환경에서 파란 문의 가장 정확한 복원을 보였다.
• 50M 파라미터를 가짐에도 불구하고 특징 추출 경로에서의 효율적인 다운샘플링 덕분에, TDN(0.112s)과 FFA(0.561s)보다 빠른 추론 속도(0.089s/이미지)를 달성하였다.
• 제거 실험 결과, ImageNet 사전 훈련이 소규모 데이터셋에서 성능 향상에 크게 기여하며, 사전 훈련이 없는 동일한 모델보다 TDN의 사전 훈련 버전이 훨씬 우수한 성능을 보임을 확인하였다.
• 사전 훈련된 특징와 데이터 특화 특징의 융합은 특히 복잡한 안개 패턴과 색상 왜곡이 있는 영역에서 더 강건하고 시각적으로 매력적인 결과를 제공한다.