[논문 리뷰] MetaUE: Model-based Meta-learning for Underwater Image Enhancement

Zhenwei Zhang, Haorui Yan외 2명|arXiv (Cornell University)|2023. 03. 12.

Image Enhancement Techniques인용 수 7

한 줄 요약

이 논문은 물리학에 기반한 이미지 형성 모델을 사용하여 청소년 이미지, 투과도 지도, 배경 조도를 동시에 추정하는 모델 기반 메타러닝 프레임워크인 MetaUE를 제안한다. 메타러닝을 통해 합성된 수중 데이터로 사전 훈련하고 실제 데이터셋으로 미세조정함으로써, 다양한 수중 조건에서 뛰어난 일반화 능력과 성능을 달성하며, UIEB 및 EUVP 벤치마크에서 PSNR와 SSIM 측면에서 최신 기술을 능가한다.

ABSTRACT

The challenges in recovering underwater images are the presence of diverse degradation factors and the lack of ground truth images. Although synthetic underwater image pairs can be used to overcome the problem of inadequately observing data, it may result in over-fitting and enhancement degradation. This paper proposes a model-based deep learning method for restoring clean images under various underwater scenarios, which exhibits good interpretability and generalization ability. More specifically, we build up a multi-variable convolutional neural network model to estimate the clean image, background light and transmission map, respectively. An efficient loss function is also designed to closely integrate the variables based on the underwater image model. The meta-learning strategy is used to obtain a pre-trained model on the synthetic underwater dataset, which contains different types of degradation to cover the various underwater environments. The pre-trained model is then fine-tuned on real underwater datasets to obtain a reliable underwater image enhancement model, called MetaUE. Numerical experiments demonstrate that the pre-trained model has good generalization ability, allowing it to remove the color degradation for various underwater attenuation images such as blue, green and yellow, etc. The fine-tuning makes the model able to adapt to different underwater datasets, the enhancement results of which outperform the state-of-the-art underwater image restoration methods. All our codes and data are available at \url{https://github.com/Duanlab123/MetaUE}.

연구 동기 및 목표

• 다양한 손상 요인을 가진 실제 수중 이미지 데이터셋이 제한되어 있는 문제를 해결하기 위해.
• 기존 딥러닝 모델이 종종 실패하는 알려지지 않은 수중 환경에서의 일반화 능력을 향상시키기 위해.
• 메타러닝과 융합된 물리적 수중 이미지 형성 모델을 통합하여 더 나은 해석 가능성과 강건성을 확보하기 위해.
• 다양한 수중 시나리오에 일반화되는 사전 훈련된 모델을 개발하고 특정 실세계 데이터셋에 대해 미세조정할 수 있도록 하기 위해.

제안 방법

• 이 방법은 물리적 수중 이미지 형성 모델에 기반하여 청소년 이미지, 배경 조도, 투과도 지도의 세 가지 성분을 추정하기 위해 다중 변수 컨볼루션 신경망을 활용한다.
• 물리적 모델 제약 조건을 활용하여 세 개의 추정 변수를 밀접하게 통합하는 효율적인 손실 함수를 설계한다.
• 다양한 합성 수중 데이터셋에서 메타러닝을 통해 사전 훈련하여 다양한 손상 유형 간의 공통된 사전 지식을 학습한다.
• 사전 훈련된 모델을 실제 수중 데이터셋으로 미세조정하여 특정 환경 특성에 적응시킨다.
• 각 변수별 별도의 헤드를 갖춘 UNet 기반 백본 아키텍처를 사용하여 물리적 일致성과 함께 공동 최적화를 가능하게 한다.
• 시각적 품질과 현실감을 향상시키기 위해 인지적, 적대적, 재구성 손실의 조합을 사용하여 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 모델 기반 메타러닝 접근법이 파란, 초록, 노란색 투과도 손상과 같은 다양한 수중 이미지 손상 유형에 효과적으로 일반화될 수 있는가?
• RQ2 메타러닝을 통한 합성 데이터 사전 훈련이 실제 수중 데이터셋에 대한 제로샷 및 피처샷 적응 능력을 어떻게 향상시키는가?
• RQ3 물리적 수중 이미지 형성 모델을 통합할 경우 순수 데이터 기반 방법에 비해 어떤 정도 해석 가능성과 성능 향상이 이루어지는가?
• RQ4 청정 이미지, 투과도 지도, 배경 조도의 동시 추정이 독립적 또는 단순화된 추정보다 더 나은 복원 성능을 낼 수 있는가?
• RQ5 사전 훈련된 모델이 neblina, 저조도, 모래 폭풍과 같은 비수중 손상 유형으로도 일반화될 수 있는가?

주요 결과

• UIEB 데이터셋에서 MetaUE는 PSNR 22.01과 SSIM 0.8609를 기록하여 기준 모델인 Plain UNet(17.54 PSNR, 0.8125 SSIM)과 Meta UNet(21.12 PSNR, 0.8054 SSIM)을 초월했다.
• EUVP 데이터셋에서 MetaUE는 22.12 PSNR와 0.8322 SSIM을 달성하여 Plain UNet(18.76 PSNR, 0.8239 SSIM)과 Meta UNet(21.24 PSNR, 0.8211 SSIM)을 모두 능가했다.
• 사전 훈련된 모델은 강력한 제로샷 일반화 능력을 보였으며, 알려지지 않은 수중 시나리오에서 색조 손상 제거와 조명 복원에 효과적으로 기여했다.
• 미세조정은 현실감 있는 품질 향상과 실제 수중 데이터셋에 대한 적응 능력을 크게 향상시켜 도메인 특화 적응의 효과성을 확인했다.
• 모델는 neblina, 저조도, 모래 폭풍과 같은 비수중 손상 유형으로도 잘 일반화되었으며, [4]의 Rank1 우선순위 방법보다 시각적 및 정량적 결과에서 뛰어난 성능을 보였다.
• 시각적 분석과 잔차 분석을 통해 배경 조도와 투과도 지도의 정확한 추정이 이루어졌고, 진짜 값과 예측된 청정 이미지 간의 오차가 최소화되었다.