[논문 리뷰] Underwater image filtering: methods, datasets and evaluation

Chau Yi Li, Riccardo Mazzon외 1명|arXiv (Cornell University)|2020. 12. 22.

Image Enhancement Techniques참고 문헌 137인용 수 11

한 줄 요약

이 논문은 복합적인 수중 영상 필터링 기법에 대한 종합적인 서베이를 제시하며, 학습 기반 접근법을 포함한 복원 및 향상 기법을 다룹니다. 영상 형성 모델을 검토하고 다양한 수질 유형에서 기법을 평가하며, 데이터셋의 분류 체계를 제안하고, 품질 평가 지표와 공개 플랫폼(PUIQE)을 포함한 통합 평가 프레임워크를 제안합니다.

ABSTRACT

Underwater images are degraded by the selective attenuation of light that distorts colours and reduces contrast. The degradation extent depends on the water type, the distance between an object and the camera, and the depth under the water surface the object is at. Underwater image filtering aims to restore or to enhance the appearance of objects captured in an underwater image. Restoration methods compensate for the actual degradation, whereas enhancement methods improve either the perceived image quality or the performance of computer vision algorithms. The growing interest in underwater image filtering methods--including learning-based approaches used for both restoration and enhancement--and the associated challenges call for a comprehensive review of the state of the art. In this paper, we review the design principles of filtering methods and revisit the oceanology background that is fundamental to identify the degradation causes. We discuss image formation models and the results of restoration methods in various water types. Furthermore, we present task-dependent enhancement methods and categorise datasets for training neural networks and for method evaluation. Finally, we discuss evaluation strategies, including subjective tests and quality assessment measures. We complement this survey with a platform ( https://puiqe.eecs.qmul.ac.uk/ ), which hosts state-of-the-art underwater filtering methods and facilitates comparisons.

연구 동기 및 목표

• 수중 영상 필터링 기법에 대한 체계적인 서베이를 제공하여, 물리 기반 복원(복원)과 인지/작업 기반 향상(향상) 접근법을 구분합니다.
• 수중에서 빛의 감쇠 및 산산조각 나기 원리에 기반한 오ceans의 원리를 재검토하고, 이를 영상 열화 메커니즘과 연결합니다.
• 딥러닝 기반 필터링 기법의 학습 및 평가에 사용된 기존 데이터셋을 분류하고 분석합니다.
• 영상 품질 평가(IQA) 지표의 강점과 한계를 평가하며, 주관적 테스트와 객관적 측정 방법을 포함합니다.
• 표준화된 비교를 위한 PUIQE 플랫폼을 도입하여 수중 영상 필터링 기법과 평가 지표를 평가합니다.

제안 방법

• 해양성과 해안성(예: 조르로프 분류)과 같은 다양한 수질 유형에서 선택적 빛 감쇠 및 산산조각 나기를 고려한 물리 기반 영상 형성 모델을 제안합니다.
• 필터링 기법을 복원(예: 깊이 또는 투과도 데이터 사용)과 향상(예: 색상 보정, 대trast 조정) 카테고리로 분류합니다.
• 세 가지 핵심 영상 품질 평가(IQA) 지표인 UIQM, UIConM, CCF를 도입하고 평가합니다. 각 지표는 색상, 대비, 선명도 성분을 통합합니다.
• 인간 시각 인지와 더 잘 일치하기 위해 IQA 지표 계산에 PLIP(인지선형 영상 처리) 연산(⊕, ⊖, ⊗)을 활용합니다.
• 최신 기법을 호스팅하고 표준화된 벤치마킹 및 비교를 가능하게 하는 PUIQE 플랫폼(https://puiqe.eecs.qmul.ac.uk/)을 개발합니다.
• 인간의 중심시 시각 해상도를 모델링하기 위해 64×64 윈도우를 사용한 블록 단위 분석을 통해 대비와 nebulosity 밀도를 계산합니다.

실험 결과

연구 질문

• RQ1 해양성과 해안성과 같은 다양한 수질 유형은 수중 영상에서 빛 감쇠와 영상 열화에 어떻게 영향을 미치나요?
• RQ2 물리 기반 복원 기법의 핵심 설계 원칙과 한계는 학습 기반 향상 기법과 비교해 어떻게 다릅니까?
• RQ3 기존 영상 품질 평가 지표(예: UIQM, CCF)는 수중 시각에서 인간의 인지와 작업 성능과 얼마나 관련이 있나요?
• RQ4 딥러닝 기반 수중 영상 필터링 모델의 학습 및 평가에 가장 대표적이고 효과적인 데이터셋은 무엇입니까?
• RQ5 복원, 향상, 학습 기반 접근법을 모두 포함한 다양한 필터링 기법을 공정하게 비교하기 위해 표준화된 평가 프레임워크를 어떻게 수립할 수 있나요?

주요 결과

• UIQM 지표는 UICM(색상), UIConM(대비), UISM(선명도)를 통합하여 인간이 인지하는 영상 품질과 강한 상관관계를 보이며, 높은 값일수록 더 나은 품질을 의미합니다.
• CCF 지표는 색채도, 대비, nebulosity 밀도를 통합하여 안개진하고 탁한 조건에서 영상 품질 평가에 더 뛰어난 성능을 보입니다.
• 학습 기반 기법은 특히 다양한 실제 데이터셋으로 훈련된 경우, 복잡한 수중 환경에서 전통적 필터링 기법보다 뛰어난 성능을 보입니다.
• 주관적 평가는 객관적 측정 지표만으로는 인지 품질을 완전히 반영하지 못하므로, IQA 지표 검증에 필수적입니다.
• PUIQE 플랫폼은 필터링 기법의 일관되고 재현 가능한 벤치마킹을 가능하게 하여, 다양한 데이터셋과 지표 간의 성능 차이를 명확히 드러냅니다.
• 깊이 또는 투과도 데이터에 의존하는 기법은 더 높은 복원 정확도를 달성하지만, 실용적 구현 제약으로 인해 한계가 있습니다.