[논문 리뷰] Underwater Image Enhancement via Learning Water Type Desensitized Representations

Zhenqi Fu, Xiaopeng Lin외 3명|arXiv (Cornell University)|2021. 02. 01.

Image Enhancement Techniques인용 수 4

한 줄 요약

이 논문은 수중 환경의 수종에 민감하지 않은 표현을 공동으로 공간적 및 채널별 정규화를 통해 학습하는 U-Net 기반의 수중 영상 향상 방법인 SCNet을 제안한다. 공간 차원을 따라 활성화를 화이트닝하고 채널 간에 평균과 분산을 표준화/재주입함으로써, 수종에 대한 사전 지식이 필요 없이 다양한 수중 환경에서 시각적 품질과 일반화 능력이 최고 수준인 성능을 달성한다.

ABSTRACT

We present a novel underwater image enhancement method termed SCNet to improve the image quality meanwhile cope with the degradation diversity caused by the water. SCNet is based on normalization schemes across both spatial and channel dimensions with the key idea of learning water type desensitized features. Specifically, we apply whitening to de-correlate activations across spatial dimensions for each instance in a mini-batch. We also eliminate channel-wise correlation by standardizing and re-injecting the first two moments of the activations across channels. The normalization schemes of spatial and channel dimensions are performed at each scale of the U-Net to obtain multi-scale representations. With such water type irrelevant encodings, the decoder can easily reconstruct the clean signal and be unaffected by the distortion types. Experimental results on two real-world underwater image datasets show that our approach can successfully enhance images with diverse water types, and achieves competitive performance in visual quality improvement.

연구 동기 및 목표

• 해안, 심해, 탁한 수중 환경 등 다양한 수종에 의해 유도되는 영상 열화 다양성 문제를 해결한다.
• 수종에 대한 사전 지식에 의존하거나 다양한 수중 조건에서 일반화하지 못하는 기존 방법의 한계를 극복한다.
• 명시적인 수종 분류나 다수의 모델 버전이 필요 없이 데이터 기반 접근 방식을 개발한다.
• 공간 및 채널 차원에서의 정규화를 통해 외관 및 스타일에 영향을 받지 않는 표현을 학습함으로써 일반화 능력을 향상시킨다.

제안 방법

• 각 미니배치 내에서 공간 차원을 따라 활성화의 상관관계를 제거하기 위해 인스턴스 화이트닝을 적용하여 공간 수준의 수종 의존성을 감소시킨다.
• 채널 간 활성화의 첫 번째 두 모멘트(평균과 분산)를 표준화하고 재주입함으로써 채널 간 상관관계를 제거한다.
• U-Net 인코더-디코더 아키텍처의 각 스케일에 공간 및 채널별 정규화를 통합하여 다중 스케일의 수종에 민감하지 않은 특징을 학습한다.
• 최종 디코더 블록에 스위치 앤 익스카이레이션(SE) 모듈을 통합하여 특징 모델링 능력을 향상시킨다.
• L2(MSE) 손실을 픽셀 수준 복원에, LPIPS 손실을 인지적 품질에 사용하는 병합 손실을 사용하며, λ=0.1로 두 손실을 균형 조정한다.
• 실제 데이터셋(UIEBD 및 RUIE)을 사용해 훈련 및 평가하며, 참조 기반 메트릭(SSIM, PSNR, LPIPS)과 정성적 분석을 함께 활용한다.

실험 결과

연구 질문

• RQ1 다양한 수종에 의해 유도되는 수중 영상 열화의 다양성을 정규화 기반 접근 방식이 효과적으로 다룰 수 있는가?
• RQ2 공간 및 채널 차원에서의 공동 정규화가 표준 정규화나 정규화 없음 대비 더 강력하고 수종에 민감하지 않은 표현을 만들어내는가?
• RQ3 정규화 구성 요소를 갖춘 단순한 U-Net 아키텍처가 복잡한 작업 특화 네트워크 설계보다 수중 영상 향상에서 더 우수한 성능을 내는가?
• RQ4 RUIE와 같이 參照 없는 실제 데이터셋에 대해 제안된 방법은 어떻게 일반화되는가?

주요 결과

• UIEBD 데이터셋에서 SCNet은 SSIM(0.8625), PSNR(22.0816), LPIPS(0.1936) 모두 최고 성능을 기록하며, 모델-프리, 프리-기반, 데이터 기반 접근 방식을 포함한 6종의 SOTA 방법을 모두 앞서며 우수한 성능을 보였다.
• 절단 실험을 통해 공간별 정규화(SN)와 채널별 정규화(CN)가 모두 필수적임을 확인하였으며, 전체 SCNet 모델(SN + CN)이 가장 뛰어난 성능을 보였다.
• UIEBD 및 RUIE 데이터셋에서의 정성적 비교를 통해 다양한 수중 환경에서 자연스럽고 생생한 결과를 생성함을 확인하였다.
• RUIE 데이터셋에서 참조 없는 실제 데이터에 대해 잘 일반화됨을 입증하였으며, 일관된 향상 품질을 보였다.
• U-Net 베이스라인 대비 성능 향상은 뚜렷하였으며, SSIM은 0.8350에서 0.8625로, PSNR는 19.5114에서 22.0816으로 상승하여 구조적 및 픽셀 수준의 정확성 향상이 뚜렷하였다.
• MSE 손실에 LPIPS 손실을 조합함으로써 인지적 품질 향상이 이루어졌으며, 낮은 LPIPS 점수와 더 자연스러운 보정 결과가 이를 뒷받침한다.