[논문 리뷰] L^2UWE: A Framework for the Efficient Enhancement of Low-Light Underwater Images Using Local Contrast and Multi-Scale Fusion

Tunai Porto Marques, Alexandra Branzan Albu|arXiv (Cornell University)|2020. 05. 27.

Image Enhancement Techniques인용 수 14

한 줄 요약

L2UWE는 국소 대비를 활용하여 대기질 조명을 모델링함으로써 저조도 수중 영상에 대한 새로운 단일 영상 향상 프레임워크를 제안한다. 이는 세부 정보 강조 및 어둠 영역 제거에 중점을 둔 두 가지 향상된 출력을 생성한 후, 다중 척도 융합을 통해 시야, 대비 및 두드러진 특징을 향상시키면서도 색상 충실도를 유지한다. 이는 일곱 가지 최첨단 방법보다 우수한 성능을 보이며 UIQM, PCQI, e-score 및 SURF 특징에서 최고 점수를 기록한다.

ABSTRACT

Images captured underwater often suffer from suboptimal illumination settings that can hide important visual features, reducing their quality. We present a novel single-image low-light underwater image enhancer, L^2UWE, that builds on our observation that an efficient model of atmospheric lighting can be derived from local contrast information. We create two distinct models and generate two enhanced images from them: one that highlights finer details, the other focused on darkness removal. A multi-scale fusion process is employed to combine these images while emphasizing regions of higher luminance, saliency and local contrast. We demonstrate the performance of L^2UWE by using seven metrics to test it against seven state-of-the-art enhancement methods specific to underwater and low-light scenes. Code available at: https://github.com/tunai/l2uwe.

연구 동기 및 목표

• 불균일한 인공 조명, 흡수 및 산산이 흩어지는 현상으로 인해 저조도 수중 영상에서 시야가 떨어지는 문제를 해결하기 위해.
• 다중 영상나아가 복잡한 데이터 기반 모델에 의존하지 않고도 밝기, 대비 및 색상 충실도를 향상시킬 수 있는 효율적인 단일 영상 향상 프레임워크를 개발하기 위해.
• 대기질 조명 추정을 위한 프록시로 국소 대비를 활용하여 정확하고 계산 비용이 적은 향상이 가능하도록 하기 위해.
• 다양한 척도의 융합을 통해 두 개의 대비 유도 향상 출력을 융합하여 고명도, 두드러진 영역 및 고대비 영역을 우선시하기 위해.
• 표준화된 메트릭과 OceanDark 데이터셋을 사용하여 최첨단 수중 및 저조도 영상 향상 기법들과의 비교를 통해 방법의 유효성을 검증하기 위해.

제안 방법

• 국소 대비 정보에서 두 가지 대기질 조명 모델을 유도하여 세부 정보 강화와 어두운 영역 제거를 별도로 향상시킬 수 있도록 한다.
• 두 개의 향상된 영상을 생성한다: 하나는 텍스처와 에지 보존에 최적화된 것이고, 다른 하나는 저조도 영역을 밝히는 데 최적화된 것이다.
• 다중 척도 융합 전략을 통해 두 출력을 융합하며, 융합 가중치는 밝기, 시각적 중요도 및 국소 대비에 따라 결정되어 시각적으로 중요한 영역을 우선시한다.
• 어둠 채널 프라이어를 기반으로 한 대비 유도 접근 방식을 채택하였지만, 수중 저조도 조건에 맞게 조정하여 고정된 수질 유형에 대한 가정을 피한다.
• 융합 과정은 구도 가이드 필터링 기반의 다중 척도 분해를 사용하여 구조적 무결성을 유지하고 잡음이나 아티팩트를 줄인다.
• OceanDark 데이터셋과 일곱 가지 메트릭(이하 UIQM, PCQI, FADE, GCF, r-score, e-score, SURF 특징)을 사용하여 방법을 평가한다.

실험 결과

연구 질문

• RQ1 수질 유형에 대한 사전 지식 없이도 국소 대비 정보를 효과적으로 활용하여 저조도 수중 영상에서 대기질 조명을 모델링할 수 있는가?
• RQ2 세부 정보 보존과 어둠 제거를 분리한 이중 스트림 향상 접근 방식이 단일 스트림 방법보다 우수한 성능을 내는가?
• RQ3 대비 및 밝기 가중치를 적용한 출력의 다중 척도 융합이 전체 영상 품질 향상과 함께 색상 충실도를 유지하는 데 기여하는가?
• RQ4 L2UWE는 일곱 가지 최첨단 수중 및 저조도 영상 향상 기법들과 비교하여 정량적·정성적으로 어떻게 성능을 내는가?
• RQ5 제안된 방법은 얼마나 어두운 영역을 줄이고, 과도한 향상이나 색상 왜곡을 방지하는가?

주요 결과

• L2UWE는 인간 시각 인지와 일치하는 높은 수준의 이미지 품질을 반영하는 최고의 UIQM 점수 1.38 ± 0.11을 기록하였다.
• PCQI 점수 1.17 ± 0.07을 기록하여 대비 및 품질 향상의 효과를 확인하였다.
• e-score(1.82 ± 0.83)와 SURF 특징 수(1856 ± 655)에서 최고 기록을 하여 에지 및 두드러진 구조의 향상 수준이 뛰어났다.
• r-score(4.61 ± 0.58)가 가장 높아 시야 개선과 저조도 영역의 밝기 향상에서 뚜렷한 향상을 보였다.
• FADE 점수 0.42 ± 0.20이 가장 낮아 이미지 품질 저하 및 잡음 또는 아티팩트가 최소화됨을 나타내었다.
• Zhang 등 [49]의 경우 강한 GCF 점수를 기록했지만, 정성적 분석 결과 자연스럽지 않은 채도가 문제가 되었고, L2UWE는 모든 다른 메트릭에서 승리하면서도 자연스러운 색상 분포를 유지하였다.