[논문 리뷰] USLN: A statistically guided lightweight network for underwater image enhancement via dual-statistic white balance and multi-color space stretch

Ziyuan Xiao, Yina Han외 2명|arXiv (Cornell University)|2022. 09. 06.

Image Enhancement Techniques인용 수 11

한 줄 요약

이 논문은 이중 통계 흰색 보정과 다중 색상 공간 히스토그램 스트레칭을 사용하여 색상 왜곡과 낮은 대trast를 보정하는 경량의 수중 영상 향상 네트워크인 USLN을 제안한다. 고차원 특징을 학습하는 대신 픽셀 값에 직접 통계적 사전 지식을 활용함으로써 USLN은 단지 894개의 훈련 가능 파라미터로 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Underwater images are inevitably affected by color distortion and reduced contrast. Traditional statistic-based methods such as white balance and histogram stretching attempted to adjust the imbalance of color channels and narrow distribution of intensities a priori thus with limited performance. Recently, deep-learning-based methods have achieved encouraging results. However, the involved complicate architecture and high computational costs may hinder their deployment in practical constrained platforms. Inspired by above works, we propose a statistically guided lightweight underwater image enhancement network (USLN). Concretely, we first develop a dual-statistic white balance module which can learn to use both average and maximum of images to compensate the color distortion for each specific pixel. Then this is followed by a multi-color space stretch module to adjust the histogram distribution in RGB, HSI, and Lab color spaces adaptively. Extensive experiments show that, with the guidance of statistics, USLN significantly reduces the required network capacity (over98%) and achieves state-of-the-art performance. The code and relevant resources are available at https://github.com/deepxzy/USLN.

연구 동기 및 목표

• 고정된 규칙을 적용하는 전통적인 통계 기반 방법의 한계를 해결하여 픽셀 단위의 색상 왜곡 변화에 적응하지 못하는 문제를 해결한다.
• 기존 딥 러닝 모델의 높은 계산 비용과 복잡성으로 인해 자원 제약이 있는 플랫폼에의 배포가 어려운 문제를 해결한다.
• grayscale world와 white patch와 같은 통계적 사전 지식을 학습 가능한 가벼운 신경망 아키텍처에 통합하여 향상 성능와 효율성을 향상시킨다.
• 기존 최신 기술 수준의 방법들과 비교해 모델 크기를 크게 줄이며 PSNR, SSIM 등의 영상 품질 지표에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 각 이미지의 평균 및 최대 강도 값에 기반해 색상 채널을 조정하는 이중 통계 흰색 보정 모듈을 제안하여 픽셀 단위의 적응형 색상 보정을 가능하게 한다.
• RGB, HSI, Lab 색상 공간에서 히스토그램 분포를 적응적으로 조정하여 대trast를 향상시키고 색상 자연스러움을 유지하는 다중 색상 공간 스트레칭 모듈을 도입한다.
• 3D 색상 공간의 픽셀 값에 직접 작용하는 가벼운 네트워크 아키텍처를 설계하여 복잡한 특징 추출을 피하고 파라미터 수를 1,000 이하로 줄인다.
• Tanh 활성화 함수를 사용하는 잔차 향상 모듈을 통합하여 영상 무결성을 유지하고 과도한 향상 방지를 통해 시각적 현실감을 향상시킨다.
• MAE, VGG 인지 손실, SSIM을 포함한 복합 손실 함수를 사용하여 픽셀 수준의 정확성과 인지 품질을 동시에 최적화한다.
• 복잡한 백본이나 사전 학습이 필요 없이 다양한 수중 영상 데이터셋을 사용해 지도 학습 설정으로 네트워크를 종합적으로 훈련시킨다.

실험 결과

연구 질문

• RQ1 통계적 사전 지식를 사용해 픽셀 값을 직접 조작하는 경량 신경망이 복잡한 딥 러닝 모델보다 수중 영상 향상에서 뛰어난 성능을 낼 수 있는가?
• RQ2 평균 및 최대 강도 통계의 조합이 다양한 수중 환경에서 색상 균형을 향상시키는 데 얼마나 효과적인가?
• RQ3 RGB, HSI, Lab에서의 다중 색상 공간 히스토그램 스트레칭은 단일 공간 또는 채널별 스트레칭보다 더 나은 대trast 및 색상 복원을 이끌어내는가?
• RQ4 1,000개 미만의 파라미터를 가진 모델이 표준 벤치마크에서 PSNR 및 SSIM에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 각 구성 요소(이중 통계 WB, 다중 공간 스트레칭, 잔차 모듈, 손실 함수)가 최종 향상 품질에 기여하는 정도는 어떠한가?

주요 결과

• USLN은 UIEB, Uimaginet, UFO 데이터셋에서 PSNR 23.78, SSIM 0.92로 최신 기술 수준의 성능을 달성하며, 훨씬 더 많은 파라미터를 가진 모델들을 능가한다.
• 제거 실험 결과 평균 및 최대 강도 통계가 색상 보정에 필수적임을 확인하였으며, 이 중 하나를 제거할 경우 각각 PSNR가 60 이상, 180 이상 감소한다.
• 다중 색상 공간 스트레칭 모듈은 HSI 공간의 S 및 I 채널을 사용할 때 성능 향상이 가장 크며, 모든 HSI 채널을 추가하면 성능이 악화됨을 확인하여 채널별 최적화가 핵심임을 시사한다.
• Tanh 활성화 함수를 가진 잔차 향상 모듈은 과도한 향상을 방지하고 자연스러운 색상을 유지한다 — 예를 들어 수중 식물의 녹색을 복원한다. 반면 이 모듈이 없을 경우 회색조가 도드라지며 자연스럽지 않은 출력이 발생한다.
• 복합 손실 함수(MAE + VGG 인지 손실 + SSIM)는 가장 뛰어난 시각적 품질을 제공하며, SSIM 손실은 구조 유사성을 향상시키고 인지 손실은 현실감을 향상시킨다.
• 894개의 파라미터로 매우 작지만, Ucolor(148.77M 파라미터) 및 FUnIE-GAN(7.02M 파라미터)과 같은 더 큰 모델들보다 PSNR 및 SSIM 모두에서 뛰어난 성능을 보이며, 높은 효율성과 효과성을 입증한다.