[논문 리뷰] UIEC^2-Net: CNN-based Underwater Image Enhancement Using Two Color Space

Yudong Wang, Jichang Guo외 2명|arXiv (Cornell University)|2021. 03. 12.

Image Enhancement Techniques참고 문헌 58인용 수 16

한 줄 요약

이 논문은 RGB 및 HSV 색상 공간을 동시에 활용하여 성능을 향상시킨 새로운 CNN 기반 수중 영상 향상 방법인 UIEC^2-Net을 제안한다. 픽셀 수준의 RGB 블록을 통해 노이즈 제거 및 색조 보정을 수행하고, 신경 곡선 레이어를 사용한 전역 조정 HSV 블록을 통해 밝기 및 채도를 정밀하게 보정하며, 각 픽셀의 공간적 가중치를 학습하는 어텐션 맵 블록을 통해 적응형 융합을 구현함으로써, 합성 및 실세계 데이터셋에서 주관적 평가와 객관적 평가 모두에서 최신 기준 성능을 달성한다.

ABSTRACT

Underwater image enhancement has attracted much attention due to the rise of marine resource development in recent years. Benefit from the powerful representation capabilities of Convolution Neural Networks(CNNs), multiple underwater image enhancement algorithms based on CNNs have been proposed in the last few years. However, almost all of these algorithms employ RGB color space setting, which is insensitive to image properties such as luminance and saturation. To address this problem, we proposed Underwater Image Enhancement Convolution Neural Network using 2 Color Space (UICE^2-Net) that efficiently and effectively integrate both RGB Color Space and HSV Color Space in one single CNN. To our best knowledge, this method is the first to use HSV color space for underwater image enhancement based on deep learning. UIEC^2-Net is an end-to-end trainable network, consisting of three blocks as follow: a RGB pixel-level block implements fundamental operations such as denoising and removing color cast, a HSV global-adjust block for globally adjusting underwater image luminance, color and saturation by adopting a novel neural curve layer, and an attention map block for combining the advantages of RGB and HSV block output images by distributing weight to each pixel. Experimental results on synthetic and real-world underwater images show the good performance of our proposed method in both subjective comparisons and objective metrics. The code are available at https://github.com/BIGWangYuDong/UWEnhancement.

연구 동기 및 목표

• 기존의 RGB 색상 공간에만 의존하는 CNN 기반 수중 영상 향상 방법의 한계를 해결하기 위해, 밝기 및 채도 특성을 잘 반영하지 못하는 문제를 해결하고자 한다.
• 딥러닝 기반 수중 영상 향상에서 HSV 색상 공간의 잠재력을 탐색하고, 특히 밝기 및 채도와 같은 전역적 영상 특성 조정에 효과적인지 평가하고자 한다.
• RGB 및 HSV 처리의 장점을 효과적으로 융합하기 위한 엔드 투 엔드 학습 가능한 어텐션 메커니즘을 갖춘 하이브리드 네트워크 아키텍처를 설계하고자 한다.
• 특히 색조 오류 및 낮은 대비와 같은 도전적인 조건에서 주관적 품질과 정량적 영상 품질 지표를 모두 향상시키고자 한다.
• 다양한 색상 공간 학습을 활용한 수중 영상 색상 보정 및 향상 분야의 새로운 기준을 제시하고자 한다.

제안 방법

• 스킵 연결이나 풀링 없이 단순한 완전 컨volution 레이어 기반의 RGB 픽셀 수준 블록을 사용하여 국소적 처리(노이즈 제거 및 색조 보정)에 집중한다.
• 새로운 HSV 전역 조정 블록은 신경 곡선 레이어를 활용해 HSV 공간에서 밝기 및 채도에 대한 전역 조정 곡선을 학습함으로써 더 표현력 있는 영상 특성 보정을 가능하게 한다.
• RGB 및 HSV 브랜치의 출력을 동적으로 융합하기 위해 어텐션 맵 블록을 도입하여 각 픽셀의 공간적 가중치를 학습함으로써 기능 융합 성능을 향상시킨다.
• 전체 네트워크는 주관적 품질과 재구성 손실의 조합을 통해 엔드 투 엔드로 학습되며, 어텐션 메커니즘이 RGB 및 HSV 특징의 적응형 가중치를 제공한다.
• 모델은 MSE 손실을 최적화하고, PSNR, SSIM, UCIQE, UIQM 등의 전반적 및 비전형 평가 지표를 사용해 평가된다.
• 가벼운 구조와 효율성을 고려한 아키텍처 설계를 통해, 아블레이션 연구를 통해 각 구성 요소의 기여도를 확인하였다.

실험 결과

연구 질문

• RQ1 딥러닝 기반 수중 영상 향상 프레임워크에 HSV 색상 공간을 통합할 경우, RGB 전용 방법 대비 성능 향상이 이루어지는가?
• RQ2 HSV 공간에서 신경 곡선 레이어를 사용할 경우, 수중 영상의 전역적 밝기 및 채도 조정에 어떤 기여를 하는가?
• RQ3 어텐션 맵 블록이 RGB 및 HSV 특징 출력의 융합을 얼마나 향상시켜 더 나은 시각적 및 정량적 결과를 도출하는가?
• RQ4 제안된 방법은 실세계 및 합성 수중 영상에서 주관적 및 객관적 영상 품질 평가 모두에서 기존 최신 기술을 능가하는가?
• RQ5 HSV 전역 조정 블록과 어텐션 맵 블록은 색조 오류 감소 및 이미지 세부 정보 보존에 어떤 구체적 기여를 하는가?

주요 결과

• UIEC^2-Net은 실세계 수중 영상에서 최고의 PSNR(24.5663 dB)와 SSIM(0.9346)를 기록하여, 비교한 모든 방법보다 전반적 기준 평가 지표에서 뛰어난 성능을 보였다.
• UCIQE 점수는 0.6193으로 가장 낮고, UIQM 점수는 4.0790으로 가장 높아 색상, 대비 및 선명도 평가에서 뛰어난 성능을 입증했다.
• 아블레이션 연구 결과, HSV 전역 조정 블록을 제거할 경우 성능이 크게 떨어졌으며, PSNR는 23.8228 dB로 하락하고 SSIM은 0.92849로 감소했다.
• 어텐션 맵 블록은 HSV 블록에서 발생하는 과도한 처리 잡음(대비 및 채도 감소)을 완화하고 노이즈 억제를 통해 시각적 품질을 향상시켰다.
• 모델은 기준 영상보다 UIQM 및 UISM 점수에서 높은 성능을 보이며 원본 이미지 이상의 주관적 품질 향상을 입증했다.
• 시각적 결과는 복잡한 수중 환경에서도 효과적인 배경 색조 오류 제거와 세밀한 질감 및 세부 정보 보존을 입증했다.