[논문 리뷰] Enhancement of Underwater Images with Statistical Model of Background Light and Optimization of Transmission Map

Wei Song, Yan Wang외 3명|arXiv (Cornell University)|2019. 06. 19.

Image Enhancement Techniques참고 문헌 43인용 수 16

한 줄 요약

이 논문은 배경 조도 추정을 위한 통계 모델과 최적화된 투과도 맵을 결합하여 영상 품질을 향상시키는 새로운 수중 영상 향상 기법을 제안한다. 수동으로 레이블링된 배경 조도 데이터베이스를 활용하고 깊이 및 포화도 사전 지식을 통해 투과도 맵을 개선함으로써, 최신 기술 대비 뛰어난 색상 충실도, 대trast, 계산 효율성을 달성한다.

ABSTRACT

Underwater images often have severe quality degradation and distortion due to light absorption and scattering in the water medium. A hazed image formation model is widely used to restore the image quality. It depends on two optical parameters: the background light and the transmission map. Underwater images can also be enhanced by color and contrast correction from the perspective of image processing. In this paper, we propose an effective underwater image enhancement method for underwater images in composition of underwater image restoration and color correction. Firstly, a manually annotated background lights (MABLs) database is developed. With reference to the relationship between MABLs and the histogram distributions of various underwater images, robust statistical models of BLs estimation are provided. Next, the TM of R channel is roughly estimated based on the new underwater dark channel prior via the statistic of clear and high resolution underwater images, then a scene depth map based on the underwater light attenuation prior and an adjusted reversed saturation map are applied to compensate and modify the coarse TM of R channel. Next, TMs of G-B channels are estimated based on the difference of attenuation ratios between R channel and G-B channels. Finally, to improve the color and contrast of the restored image with a natural appearance, a variation of white balance is introduced as post-processing. In order to guide the priority of underwater image enhancement, sufficient evaluations are conducted to discuss the impacts of the key parameters including BL and TM, and the importance of the color correction. Comparisons with other state-of-the-art methods demonstrate that our proposed underwater image enhancement method can achieve higher accuracy of estimated BLs, less computation time, more superior performance, and more valuable information retention.

연구 동기 및 목표

• 빛 흡수 및 산산이 흩어지는 현상으로 인해 심한 영상 품질 열화가 발생하는 수중 환경의 문제를 해결하기 위해.
• 수동으로 레이블링된 데이터베이스에서 유도된 통계 모델을 활용해 배경 조도(BL) 추정의 정확도를 향상시키기 위해.
• 깊이 및 포화도 사전 지식을 통합하여 투과도 맵(TM) 추정을 최적화함으로써 더 높은 복원 충실도를 달성하기 위해.
• 수정된 화이트 밸런스 후처리 단계를 통해 색상과 대비를 자연스럽게 향상시키기 위해.
• 핵심 파라미터(BL 및 TM)의 영향을 평가하고 색상 보정의 효과를 검증하기 위해.

제안 방법

• MABLs와 영상 히스토그램 분포 간의 통계적 관계를 수립하기 위해, 수동으로 레이블링된 배경 조도(MABLs) 데이터베이스를 구축한다.
• MABLs 데이터베이스와 히스토그램 분석을 기반으로 한 강력한 통계 모델을 개발하여 배경 조도 추정을 수행한다.
• 클리어하고 고해상도 영상 기반으로 수정된 수중 다크 채널 우선 원칙을 활용해 빨간색(R) 채널의 투과도 맵을 초도적으로 추정한다.
• 조명 감쇠 및 색상 분포 사전 지식을 통해 깊이 맵과 조정된 반전 포화도 맵을 이용해 거친 R채널 투과도 맵을 정밀하게 보정한다.
• R채널과 G-B채널 간의 차별적 감쇠 비율을 모델링하여 초록색(G) 및 파랑(B) 채널의 투과도 맵을 추정한다.
• 최종 복원 영상의 색상 자연스러움과 대비를 향상시키기 위해 화이트 밸런스의 변형을 후처리 단계로 적용한다.

실험 결과

연구 질문

• RQ1 어떻게 수동으로 레이블링된 데이터의 통계 모델링을 통해 수중 영상에서 배경 조도 추정을 향상시킬 수 있는가?
• RQ2 깊이 및 포화도 사전 지식을 활용해 투과도 맵을 최적화함으로써 영상 복원 품질이 얼마나 향상되는가?
• RQ3 화이트 밸런스를 통한 색상 보정이 향상된 수중 영상의 주관적 품질과 자연스러운 외관에 어떤 영향을 미치는가?
• RQ4 배경 조도 및 투과도 맵과 같은 핵심 파라미터가 전체 향상 성능에 미치는 영향은 어떠한가?
• RQ5 제안된 방법은 기존 최신 수준의 수중 영상 향상 기법과 비교해 정량적·정성적으로 어떻게 다른가?

주요 결과

• 수동으로 레이블링된 데이터베이스를 기반으로 훈련된 통계 모델 덕분에 기존 방법 대비 더 높은 정확도의 배경 조도 추정을 달성한다.
• 깊이 및 포화도 사전 지식을 통한 최적화된 투과도 맵은 더 정확하고 시각적으로 타당한 영상 복원 결과를 이끈다.
• 우수한 영상 품질 지표 성능을 유지하면서도 계산 시간이 감소하여 효율성이 향상된다.
• 수정된 화이트 밸런스 후처리 단계의 통합은 색상 충실도와 대비를 크게 향상시켜 더 자연스러운 결과를 이끈다.
• 비교 평가 결과, 제안된 방법은 정량적 지표와 시각적 품질 모두에서 최신 기술을 능가하며 더 나은 정보 유지 능력을 보여준다.