[논문 리뷰] Real-world Underwater Enhancement: Challenges, Benchmarks, and Solutions

Risheng Liu, Xin Fan외 3명|arXiv (Cornell University)|2019. 01. 15.

Image Enhancement Techniques참고 문헌 11인용 수 25

한 줄 요약

이 논문은 실생활 수중 영상에 초점을 맞춘 대규모 RUIE(Real-world Underwater Image Enhancement) 벤치마크를 소개한다. 이는 4,000장이 넘는 실생활 수중 영상으로 구성된 대규모 데이터셋으로, 가시성 향상, 색상 보정, 객체 검출 성능 평가를 위한 세 가지 하위 세트로 나뉜다. 이는 11개의 최신 기법을 다양한 과제에서 평가하여, 어떤 한 방법도 모든 기준에서 뛰어난 성능을 보이지 않음을 확인했으며, 특히 UHLP_cb와 BCCR_cb가 객체 검출 정확도와 시각적 품질에서 뛰어난 성능을 보였다.

ABSTRACT

Underwater image enhancement is such an important low-level vision task with many applications that numerous algorithms have been proposed in recent years. These algorithms developed upon various assumptions demonstrate successes from various aspects using different data sets and different metrics. In this work, we setup an undersea image capturing system, and construct a large-scale Real-world Underwater Image Enhancement (RUIE) data set divided into three subsets. The three subsets target at three challenging aspects for enhancement, i.e., image visibility quality, color casts, and higher-level detection/classification, respectively. We conduct extensive and systematic experiments on RUIE to evaluate the effectiveness and limitations of various algorithms to enhance visibility and correct color casts on images with hierarchical categories of degradation. Moreover, underwater image enhancement in practice usually serves as a preprocessing step for mid-level and high-level vision tasks. We thus exploit the object detection performance on enhanced images as a brand new task-specific evaluation criterion. The findings from these evaluations not only confirm what is commonly believed, but also suggest promising solutions and new directions for visibility enhancement, color correction, and object detection on real-world underwater images.

연구 동기 및 목표

• 강화 알고리즘 평가를 위한 대규모이고 다양한 실생활 수중 영상 벤치마크의 부족을 해결하기 위해.
• 기존 데이터셋의 한계, 즉 얕은 수심, 단조로운 조명, 고수준 시각 과제에 필요한 충분한 해양 생물의 부족을 극복하기 위해.
• 이미지 품질 평가 지표 외에도, 강화 알고리즘이 후속 객체 검출 성능에 미치는 영향을 평가하기 위해.
• 실생활 수중 조건에서 가시성 향상, 색상 보정, 객체 검출 정확도를 위한 가장 효과적인 강화 전략을 규명하기 위해.
• 비기준 품질 평가 및 수중 시각 과제를 위한 엔드 투 엔드 학습 프레임워크를 포함한 새로운 평가 철학을 제안하기 위해.

제안 방법

• 다양한 조건에서 실생활 수중 환경을 촬영하기 위해 다중 시점 수중 영상 촬영 시스템을 구축하였다.
• 4,000장 이상의 실생활 수중 영상으로 구성된 RUIE 벤치마크를 구축하였으며, 세 가지 하위 세트로 나누었다: UIQS(가시성), UCCS(색상 왜곡), UHTS(객체 검출).
• UCIQE 및 UIQM을 통한 이미지 품질 평가와 mAP 및 검출 수를 통한 객체 검출 평가를 포함한 다중 지표를 사용해 11개의 최신 UIE 알고리즘을 평가하였다.
• 실생활 영상을 활용해 딥러닝 모델을 훈련 및 평가하였으며, 물리적 사전 지식을 컨volutional 네트워크(CNN)와 통합한 UHLP_cb 및 BCCR_cb를 포함하였다.
• 저수준 강화와 중수준 검출 성능를 연결하는 통합 평가 프레임워크를 적용하였으며, mAP를 작업 특화 지표로 사용하였다.
• 계층적 열화 수준과 다양한 수중 환경에서 체계적인 아블레이션 연구를 수행하여 알고리즘의 강인성을 평가하였다.

실험 결과

연구 질문

• RQ1 실생활 조건에서 다양한 수준의 가시성 열화에 대해 기존 수중 영상 강화 알고리즘이 어떻게 성능을 내는가?
• RQ2 다양한 수중 조명 및 수질 조건에서 강화 알고리즘이 색상 왜곡을 얼마나 잘 보정하는가?
• RQ3 이미지 품질 지표(예: UCIQE, UIQM)와 후속 객체 검출 성능(mAP) 사이에 강한 상관관계가 있는가?
• RQ4 가시성 향상, 색상 보정, 객체 검출 정확도 사이에서 가장 우수한 트레이드오프를 달성하는 강화 방법은 무엇인가?
• RQ5 실생활 수중 영상가 엔드 투 엔드 딥러닝 모델의 수중 시각 과제 훈련에 효과적인 데이터로 활용될 수 있는가?

주요 결과

• 모든 평가 기준에서 최적의 성능을 내는 단일 강화 알고리즘이 존재하지 않으며, 이는 과제별 최적화의 필요성을 시사한다.
• UHLP_cb와 BCCR_cb는 UHTS 하위 세트에서 가장 높은 mAP(각각 0.726 및 0.725)를 기록하여 객체 검출 정확도에서 다른 방법들을 압도했다.
• UHLP_cb와 BCCR_cb는 각각 UCIQE(4.28 및 4.31)와 UIQM(10.21 및 10.18) 점수에서 최고를 기록하여 뛰어난 시각적 품질과 이미지 선명도를 확보했다.
• DCP, CLAHE, Fusion 방법은 색상 보정에서 뛰어난 성능을 보였으며, UHTS 데이터셋에서 mAP 값이 0.72 이상을 기록했다.
• UCIQE 및 UIQM와 mAP 사이에 강한 상관관계가 없었으며, 이는 전통적 지표가 검출 성능을 신뢰성 있게 예측하지 못할 수 있음을 시사한다.
• RUIE 벤치마크는 현재 알고리즘이 특히 깊거나 浊수 환경에서 복잡한 수중 환경을 다루는 데 어려움을 겪고 있음을 드러내었으며, 이는 향상된 물리 모델링과 통합 학습 프레임워크의 필요성을 강조한다.