[논문 리뷰] Real-world Underwater Enhancement: Challenging, Benchmark and Efficient Solutions.

Risheng Liu, Minjun Hou외 2명|arXiv (Cornell University)|2019. 01. 15.

Image Enhancement Techniques참고 문헌 46인용 수 5

한 줄 요약

이 논문은 열등도 수준과 색상 편차 기반으로 계층적으로 분류된 대규모 기준 데이터셋인 실용적인 수중 이미지 향상(RUIE) 데이터셋을 소개한다. 이는 비기준 품질 평가 지표를 사용하여 최신 향상 알고리즘을 평가하고, 향상된 이미지에서의 객체 검출 성능을 새로운 작업별 평가 기준으로 제안함으로써 수중 이미지 향상 분야의 핵심적 한계와 새로운 연구 방향을 드러낸다.

ABSTRACT

Underwater image enhancement is an important low-level vision task with many applications, and numerous algorithms have been proposed in recent years. Despite the demonstrated success, these results are often generated based on different assumptions using different datasets and metrics. In this paper, we propose a large-scale Realistic Underwater Image Enhancement (RUIE) dataset, in which all degraded images are divided into multiple sub-datasets according to natural underwater image quality evaluation metric and the degree of color deviation. Compared with exiting testing or training sets of realistic underwater scenes, the RUIE dataset contains three sub-datasets, which are specifically selected and classified for the experiment of non-reference image quality evaluation, color deviation and task-driven detection. Based on RUIE, we conduct extensive and systematic experiments to evaluate the effectiveness and limitations of various algorithms, on images with hierarchical classification of degradation. Our evaluation and analysis demonstrate the performance and limitations of state-of-the-art algorithms. The findings from these experiments not only confirm what is commonly believed, but also suggest new research directions. More importantly, we recognize that underwater image enhancement in practice usually serves as the preprocessing step for mid-level and high-level vision tasks. We thus propose to exploit the object detection performance on the enhanced images as a brand-new `task-specific' evaluation criterion for underwater image enhancement algorithms.

연구 동기 및 목표

• 실용적이고 표준화된 수중 이미지 향상 기준이 부족한 문제를 해결하기 위해 대규모이고 다양한 데이터셋을 구축하기 위해.
• 이미지 열등도 수준과 색상 편차 수준에 따라 기존의 향상 알고리즘을 체계적으로 평가하기 위해.
• 실용적인 수중 환경 조건에서 현재 최신 알고리즘의 한계를 규명하기 위해.
• 더 실제적인 알고리즘 평가를 위해, 특히 객체 검출을 포함한 후속 작업 성능 기반의 새로운 평가 철학을 제안하기 위해.
• 알고리즘 행동에 대한 경험적 분석을 통해 아직 탐색되지 않은 연구 방향을 제시함으로써 향후 연구를 이끌기 위해.

제안 방법

• RUIE 데이터셋은 실제 수중 이미지를 수집하고 자연적 이미지 품질 지표와 색상 편차 수준에 기반해 세 개의 서브데이터셋으로 분류하여 구성된다.
• 이미지는 열등도 심각도와 색상 왜곡 정도를 제어할 수 있도록 계층적으로 분류된다.
• 비기준 이미지 품질 평가와 후속 작업인 객체 검출 성능을 평가 지표로 사용하여 종합적인 평가 프레임워크를 수립한다.
• 최신 향상 알고리즘은 RUIE 서브데이터셋에 대해 체계적으로 테스트되어 다양한 열등도 수준에서의 성능을 분석한다.
• 향상된 이미지에서의 객체 검출 정확도를 실제 응용에서의 유용성의 지표로 사용하여 작업별 평가 기준을 도입한다.
• 서브데이터셋 간 알고리즘 성능를 비교하기 위해 통계 분석을 수행하고 일관된 실패 패턴을 규명한다.

실험 결과

연구 질문

• RQ1 최신 수중 이미지 향상 알고리즘은 열등도 수준과 색상 편차 수준에 따라 어떻게 성능을 보이는가?
• RQ2 비기준 이미지 품질 평가 지표는 실제 응용에서 후속 작업 성능과 얼마나 관련이 있는가?
• RQ3 실용적이고 다양한 수중 이미지 분포에서 평가했을 때 현재 향상 알고리즘의 일관된 한계는 무엇인가?
• RQ4 향상된 이미지에서의 객체 검출 정확도는 수중 이미지 향상의 신뢰성 있고 의미 있는 평가 기준이 될 수 있는가?
• RQ5 계층적 열등도 수준에 걸쳐 알고리즘 성능를 체계적으로 평가함으로써 어떤 새로운 연구 방향이 도출되는가?

주요 결과

• RUIE 데이터셋은 현재 향상 알고리즘이 특히 심한 색상 편차 상황에서 일반화 성능에 빈번히 실패함을 드러낸다.
• 비기준 이미지 품질 평가 지표만으로는 실제 성능을 예측하기 부족하며, 후속 작업 정확도와 강한 상관관계를 보이지 않는다.
• 일부 향상 방법을 사용할 경우, 향상된 이미지에서의 객체 검출 성능이 뚜렷하고 일관되게 향상됨을 확인하여, 이 기준이 작업별 평가 기준으로 유의미하게 활용될 수 있음을 입증한다.
• 많은 최신 알고리즘이 높은 색상 편차를 가진 이미지에서 성능 저하를 보이며, 더 강력한 색상 복원 기법이 필요함을 시사한다.
• 현재 알고리즘은 일부 영역은 과도하게 향상시키고 다른 영역은 보정이 부족하게 하여, 일관되지 않은 시각적 품질과 작업 성능을 초래함을 밝혀냈다.
• RUIE 데이터셋의 계층적 분류 방식은 알고리즘 행동에 대한 더 세밀한 분석을 가능하게 하여, 이전에 간과되었던 고장 패tern을 드러냈다.