[논문 리뷰] Deep Underwater Image Enhancement

Saeed Anwar, Chongyi Li외 1명|arXiv (Cornell University)|2018. 07. 10.

Image Enhancement Techniques참고 문헌 34인용 수 125

한 줄 요약

데이터 기반 CNN(UWCNN)이 저하된 이미지와 깨끗한 이미지 간 잔차를 학습하여 수중 이미지를 향상시키고, 다양한 수중 유형에 맞춰 여러 모델을 학습하기 위해 합성 수중 데이터를 사용하며, 대비를 개선하는 후처리 단계(UWCNN+)를 도입합니다. 합성 및 실제 수중 이미지에서 이전 방법들을 능가합니다.

ABSTRACT

In an underwater scene, wavelength-dependent light absorption and scattering degrade the visibility of images, causing low contrast and distorted color casts. To address this problem, we propose a convolutional neural network based image enhancement model, i.e., UWCNN, which is trained efficiently using a synthetic underwater image database. Unlike the existing works that require the parameters of underwater imaging model estimation or impose inflexible frameworks applicable only for specific scenes, our model directly reconstructs the clear latent underwater image by leveraging on an automatic end-to-end and data-driven training mechanism. Compliant with underwater imaging models and optical properties of underwater scenes, we first synthesize ten different marine image databases. Then, we separately train multiple UWCNN models for each underwater image formation type. Experimental results on real-world and synthetic underwater images demonstrate that the presented method generalizes well on different underwater scenes and outperforms the existing methods both qualitatively and quantitatively. Besides, we conduct an ablation study to demonstrate the effect of each component in our network.

연구 동기 및 목표

• 파장 의존적 감쇠와 산란에도 불구하고 강건한 수중 이미지 향상을 촉진한다.
• 저하된 수중 이미지로부터 잠재적 선명한 이미지를 직접 재구성하는 데이터 기반의 엔드투엔드 CNN(UWCNN)을 제안한다.
• 다양한 수중 데이터를 합성해 서로 다른 수질 유형 및 열화 수준에 맞춘 모델을 학습시킨다.
• UWCNN이 실제 및 합성 이미지에 일반화됨을 입증하고 구성 요소의 기여를 약화 연구(ablation study)를 통해 분석한다.

제안 방법

• 수중 이미지 향상을 명시적 B 및 T 추정 없이 잠재 이미지를 직접 예측하는 이미지 복원 문제로 공식화한다.
• 네트워크가 저하된 이미지와 깨끗한 이미지 사이의 차이를 학습하고 이를 입력에 다시 더하는 잔차 학습 접근법을 사용한다(I = U + Δ(U, θ)).
• 풀 컨볼루션 아키텍처를 3개의 블록과 Dense 연결로 채택하고 풀링이나 배치 정규화 없이 엔드투엔드로 학습한다.
• 다양한 수중 영상 형성 타입에 대응하는 10개의 모델을 NYU-v2 RGB-D에서 모형화된 감쇠 계수를 사용해 합성 데이터로 학습한다.
• 손실로 MSE(재구성 오차)와 SSIM을 결합하여 L = L_MSE + L_SSIM로 정의하고 ADAM(lr = 0.0002)으로 최적화한다.
• 실제 이미지의 대비를 높이기 위해 HSV/HSI 공간에서 채도와 강도를 정규화하는 후처리 단계(UWCNN+)를 포함한다.

실험 결과

연구 질문

• RQ1 합성 수중 데이터로 학습된 데이터 기반 CNN이 색상 캐스트와 가시성이 다양한 실제 수중 장면에 일반화될 수 있는가?
• RQ2 밀집 연결 아키텍처를 가진 잔차 학습이 직접 매핑 방식보다 복원 품질을 향상시키는가?
• RQ3 합성된 수질 유형 데이터셋이 개방 해양과 해안의 난류성에 걸친 강건성에 어떤 영향을 미치는가?
• RQ4 실제 수중 이미지에서 후처리 단계 추가가 인지적 품질과 대비에 미치는 영향은 무엇인가?

주요 결과

타입	MSE_RAW	MSE_RED	MSE_UDCP	MSE_ODM	MSE_UIBLA	MSE_UWCNN	PSNR_RAW	PSNR_RED	PSNR_UDCP	PSNR_ODM	PSNR_UIBLA	PSNR_UWCNN	SSIM_RAW	SSIM_RED	SSIM_UDCP	SSIM_ODM	SSIM_UIBLA	SSIM_UWCNN
Type-1	2367.3	3489.7	2062.3	2508.6	2812.6	587.70	15.535	15.596	15.757	16.085	15.079	21.790	0.7065	0.7406	0.7629	0.7240	0.6957	0.8558
Type-3	2676.5	4953.2	3380.6	3130.1	3490.1	747.50	14.688	12.789	14.474	14.282	13.442	20.251	0.5788	0.6639	0.6614	0.6765	0.5765	0.7951
Type-5	4851.2	8385.8	6708.9	3488.9	4563.7	1295.1	12.142	11.123	10.862	14.123	12.611	17.517	0.4219	0.5934	0.4269	0.6441	0.4748	0.7266
Type-7	7381.1	9809.8	8591.6	5337.1	6737.9	2974.1	10.171	9.991	9.467	12.266	10.753	14.219	0.1794	0.3192	0.1624	0.4178	0.2202	0.4920
Type-9	9060.6	5952.3	9500.1	10634.0	8433.1	4121.5	9.502	11.620	9.317	9.302	10.090	13.232	0.1794	0.3192	0.1624	0.4178	0.2202	0.4920
Water-Type I	1449.0	936.9	1020.7	1272.0	1492.2	209.70	17.356	19.545	18.816	18.095	17.488	25.927	0.8621	0.8816	0.8264	0.8172	0.7449	0.9376
Water-Type II	941.9	851.3	1466.0	1401.9	1141.4	251.60	20.595	20.791	17.204	17.610	18.064	24.817	0.8716	0.8837	0.8387	0.8251	0.8017	0.9236
Water-Type III	1851.0	2240.0	2337.6	1701.1	1697.8	456.40	16.556	16.690	14.924	16.710	17.100	22.633	0.7526	0.7911	0.7587	0.7546	0.7655	0.8795

• UWCNN은 RAW, RED, UDCP, ODM 및 UIBLA 기준선 대비 10개 수질 데이터셋에서 우수한 정량 지표(MSE, PSNR, SSIM)를 달성한다.
• 합성 테스트 세트에서 UWCNN 변형들은 대체 방법 대비 MSE를 크게 감소시키고 PSNR 및 SSIM을 증가시킨다(예: Type-1: MSE 587.70 vs 더 높은 베이스라인; PSNR 21.790은 UWCNN, 다른 방법은 대략 15–16; SSIM 0.8558은 대략 0.70–0.76).
• UWCNN+ (후처리 버전)는 실제 이미지에서 색감과 대비를 더 향상시키되 색상 왜곡을 유발하지 않는다.
• 정성적 결과는 UWCNN이 녹색조를 제거하고 자연스러운 질감을 회복하며 실제 이미지에서 ODM 및 UIBLA를 능가함을 보여준다.
• 본 논문은 잔차 학습, Dense 연결, 엔드투엔드 학습의 기여가 전체 성능에 미친 영향을 보여주는 어블레이션 연구를 제시한다.