[논문 리뷰] A Benchmark dataset for both underwater image enhancement and underwater object detection

Long Chen, Lei Tong외 6명|arXiv (Cornell University)|2020. 06. 29.

Image Enhancement Techniques참고 문헌 32인용 수 7

한 줄 요약

이 논문은 쌍체의 원시 이미지, 고품질 기준 이미지, 객체 검출 바운딩 박스를 포함하는 대규모 수중 기준 데이터셋인 OUC 데이터셋을 소개한다. 주관적 인식과 객관적 영상 품질 지표를 결합하여, 수중 영상 강화(UIE) 방법의 후속 객체 검출 성능에 대한 종합적인 평가를 가능하게 하는 신뢰할 수 있는 기준 이미지를 생성한다. 그 결과, Retinex 기반 강화가 가장 높은 검출 mAP(87.2)를 기록함을 밝혀냈다.

ABSTRACT

Underwater image enhancement is such an important vision task due to its significance in marine engineering and aquatic robot. It is usually work as a pre-processing step to improve the performance of high level vision tasks such as underwater object detection. Even though many previous works show the underwater image enhancement algorithms can boost the detection accuracy of the detectors, no work specially focus on investigating the relationship between these two tasks. This is mainly because existing underwater datasets lack either bounding box annotations or high quality reference images, based on which detection accuracy or image quality assessment metrics are calculated. To investigate how the underwater image enhancement methods influence the following underwater object detection tasks, in this paper, we provide a large-scale underwater object detection dataset with both bounding box annotations and high quality reference images, namely OUC dataset. The OUC dataset provides a platform for researchers to comprehensive study the influence of underwater image enhancement algorithms on the underwater object detection task.

연구 동기 및 목표

• 고품질 기준 이미지와 객체 검출을 위한 바운딩 박스 레이블이 포함된 공개된 수중 데이터셋의 부족을 해결하기 위해.
• 수중 영상 강화(UIE) 알고리즘의 후속 수중 객체 검출(UOD) 성능에 미치는 영향을 조사하기 위해.
• 인간 인식과 객관적 영상 품질 지표를 융합하여 고품질 기준 이미지를 생성하는 강력한 방법을 개발하기 위해.
• 전반적인 기준 영상 품질 평가와 검출 정확도를 활용하여 최신 UIE 및 UOD 알고리즘에 대한 종합적 평가 플랫폼을 제공하기 위해.
• 비기준 지표를 넘어서, 영상 강화 품질과 후속 검출 성능 간의 관계에 대한 통찰을 제공하기 위해.

제안 방법

• 주관적 인식(관찰자 투표 방식)과 객관적 영상 품질 지표(MSE, PSNR, SSIM, PCQI)를 융합한 하이브리드 기준 이미지 생성 방법을 제안한다.
• 1,198개의 수중 이미지 쌍에 대해 11종의 다른 UIE 알고리즘 결과를 관찰자가 평가하도록 하여 총 3,698개의 기준 이미지를 수집한다.
• 관찰자 간 일치도가 가장 높은(다수의 투표를 받은) 이미지를 최종 기준 이미지로 선정하여, 인지적 품질과 일관성을 확보한다.
• 전반적인 기준 영상 품질 지표(MSE, PSNR, SSIM, PCQI)를 사용하여 OUC 데이터셋에서 UIE 성능을 정량적으로 평가한다.
• Retinex, Fusion, Two-step, GDCP 등의 다양한 UIE 알고리즘을 OUC 데이터셋에서 학습 및 평가하여, 객체 검출 mAP에 미치는 영향을 비교한다.
• 모든 이미지를 일관된 평가를 위해 512×512로 리사이징하고, 데이터셋을 2,500개의 훈련 이미지 쌍과 1,198개의 테스트 이미지 쌍으로 분할한다.

실험 결과

연구 질문

• RQ1 다양한 수중 영상 강화(UIE) 알고리즘이 수중 객체 검출기 성능에 어떻게 영향을 미치는가?
• RQ2 수중 환경에서 전반적인 기준 영상 품질 지표(예: PSNR, SSIM)와 검출 정확도(mAP) 간의 관계는 어떠한가?
• RQ3 고품질 기준 이미지 기준 데이터셋에서 평가했을 때, 어떤 UIE 방법이 가장 인지적으로 정확하고 검출 최적화된 결과를 낼 수 있는가?
• RQ4 물리 모델 기반과 비물리 모델 기반 UIE 방법은 다양한 수중 조명 조건(예: 빨간색, 초록색, 파란색 우세)을 다룰 때 어떻게 비교되는가?
• RQ5 인간 인식과 객관적 지표를 융합한 하이브리드 기준 이미지 생성 방법은 주관적 또는 객관적 방법만을 사용할 때보다 더 신뢰성 있고 일관성 있는 기준 이미지를 생성할 수 있는가?

주요 결과

• OUC 데이터셋은 원시 수중 이미지, 고품질 기준 이미지, 해당하는 바운딩 박스 레이블을 포함한 총 1,198개의 테스트 이미지 쌍을 포함한다.
• Retinex 기반 강화는 OUC 데이터셋에서 가장 높은 평균 정밀도(mAP) 87.2를 기록하여 다른 UIE 방법들을 압도한다.
• Fusion 기반 강화는 MSE(0.2816), PSNR(28.5319), PCQI(0.8940)에서 최고 점수를 기록하여 전반적인 기준 영상 품질이 뛰어나다는 것을 시사한다.
• SSIM 점수 결과에 따르면, Retinex(0.8886)와 Fusion(0.8794)가 기준 이미지와 가장 구조적으로 유사한 결과를 도출한다.
• 물리 모델 기반 방법인 Regression과 Histogram은 각각 파란 빛과 초록 빛을 띠는 심한 색상 왜곡을 유발하는 반면, Two-step는 대비를 과도하게 강조하여 자연스럽지 않은 출력을 낳는다.
• 단일 UIE 방법이 모든 조명 조건에서 뛰어난 성능을 내지 못한다. 예를 들어, UDCP는 장면에 따라 빨간색 또는 파란색 캐스트를 유발하고, Blurriness는 빨간색 우세한 장면에서 색상 캐스트를 수정하지 못한다.