[논문 리뷰] U-shape Transformer for Underwater Image Enhancement

Lintao Peng, Chunli Zhu외 1명|arXiv (Cornell University)|2021. 11. 23.

Image Enhancement Techniques참고 문헌 46인용 수 24

한 줄 요약

이 논문은 최신의 수중 영상 향상 기술을 위해 채널별 및 공간별 주의 메커니즘을 통합한 U자형 트랜스포머 네트워크를 제안한다. 대규모 실생활 수중 데이터셋(LSUI)을 도입하여 4,279장의 이미지와 함께 참조 이미지, 세그멘테이션 맵, 투과도 맵을 제공하며, 인간 시각 인지에 부합하는 색상 정확도 향상을 위해 RGB, LAB, LCH 색상 공간을 조합한 다중 색상 공간 손실 함수를 활용하여 기존 방법 대비 2 dB 이상의 PSNR 향상을 달성한다.

ABSTRACT

The light absorption and scattering of underwater impurities lead to poor underwater imaging quality. The existing data-driven based underwater image enhancement (UIE) techniques suffer from the lack of a large-scale dataset containing various underwater scenes and high-fidelity reference images. Besides, the inconsistent attenuation in different color channels and space areas is not fully considered for boosted enhancement. In this work, we constructed a large-scale underwater image (LSUI) dataset including 5004 image pairs, and reported an U-shape Transformer network where the transformer model is for the first time introduced to the UIE task. The U-shape Transformer is integrated with a channel-wise multi-scale feature fusion transformer (CMSFFT) module and a spatial-wise global feature modeling transformer (SGFMT) module, which reinforce the network's attention to the color channels and space areas with more serious attenuation. Meanwhile, in order to further improve the contrast and saturation, a novel loss function combining RGB, LAB and LCH color spaces is designed following the human vision principle. The extensive experiments on available datasets validate the state-of-the-art performance of the reported technique with more than 2dB superiority.

연구 동기 및 목표

• 다양한 환경과 參照 이미지를 포함한 대규모 고해상도 수중 영상 데이터셋의 부족 문제를 해결하기 위해.
• 수중 영상에서 발생하는 색상과 공간적 감쇠의 일관성 없는 특성을 특수화된 주의 메커니즘으로 보완하기 위해.
• 수중 영상의 대trast, 채도, 색상 정확도 향상을 통해 시각적 품질을 향상시키기 위해.
• 기존의 데이터 기반 및 물리 모델 기반 수중 영상 향상 기법들을 능가하는 딥 러닝 프레임워크를 개발하기 위해.

제안 방법

• 색상 채널과 공간 영역 간의 비균일한 감쇠를 해결하기 위해 채널별 다중 스케일 특징 융합(CMSFFT)과 공간별 글로벌 특징 모델링(SGFMT)을 통합한 U자형 트랜스포머 아키텍처를 제안하였다.
• 인간 시각 인지에 부합하고 색상 정확도를 향상시키기 위해 RGB, LAB, LCH 색상 공간을 조합한 새로운 다중 색상 공간 손실 함수를 설계하였다.
• 실제 수중 환경의 4,279개 그룹의 영상과 함께 고품질 參照 이미지, 세그멘테이션 맵, 중간 투과도 맵을 포함한 대규모 수중 영상(LSUI) 데이터셋을 구축하였다.
• 배경으로 [33]의 U자형 아키텍처를 활용하였으며, 더 나은 특징 표현을 위해 작업에 특화된 주의 모듈을 추가하였다.
• 구조적 세부 정보 유지와 색상 정확도 향상을 위해 인지적 손실과 다중 색상 공간 손실의 조합을 사용하여 모델을 훈련시켰다.
• 국소 세부 정보 복원을 향상시키고 잡음 감소를 위해 다중 스케일 기울기 흐름 메커니즘(MSG)을 도입하였다.

실험 결과

연구 질문

• RQ1 고해상도 參조 이미지가 포함된 대규모 실생활 수중 영상 데이터셋은 데이터 기반 UIE 방법의 성능 향상에 기여하는가?
• RQ2 딥 러닝 프레임워크에서 색상 채널과 공간 영역 간의 일관성 없는 감쇠를 효과적으로 모델링할 수 있는가?
• RQ3 손실 함수에 RGB, LAB, LCH 등 여러 색상 공간을 통합하면 색상 보정과 시각적 품질 향상에 기여하는가?
• RQ4 트랜스포머 기반 아키텍처에서 채널별 및 공간별 주의 메커니즘이 수중 영상의 색상 정확도 향상과 세부 정보 복원에 얼마나 기여하는가?

주요 결과

• 제안된 U자형 트랜스포머는 Test-L400 데이터셋에서 PSNR 24.16, Test-U90에서 22.91을 기록하여 모든 베이스라인보다 2 dB 이상 뛰어난 성능을 보였다.
• 모든 구성 요소(CMSFFT, SGFMT, MSG, MCSL)를 포함한 전체 모델이 최고의 PSNR와 SSIM 성능을 기록하여 통합 설계의 효과를 입증하였다.
• 다중 색상 공간 손실 함수는 CIEDE2000 점수(최고의 색상 보정)가 가장 낮아 색상 정확도 향상에 뚜렷한 기여를 하였다.
• 제거 실험 결과 각 구성 요소(CMSFFT, SGFMT, MSG, MCSL)가 성능 향상에 독립적으로 기여하였으며, 전체 모델이 가장 뛰어난 시각적 품질과 정량적 평가 점수를 확보하였다.
• LSUI 데이터셋은 기존 데이터셋 대비 수심, 수질, 조명 조건, 대상 카테고리 면에서 훨씬 뛰어난 다양성을 보였으며, 더 견고한 모델 훈련을 가능하게 하였다.
• 모델는 가장 낮은 색상 이질도를 기록하여 기준 매크비스 컬러체커와의 색상 유사도가 가장 높았으며, 전문 카메라 영상에서도 뛰어난 색상 보정 성능을 보였다.