[논문 리뷰] An Experimental-based Review of Image Enhancement and Image Restoration Methods for Underwater Imaging

Yan Wang, Wei Song외 4명|arXiv (Cornell University)|2019. 07. 07.

Image Enhancement Techniques참고 문헌 115인용 수 14

한 줄 요약

이 논문은 수중 영상에 대한 최신 이미지 강화 및 복원 기법에 대한 종합적인 실험 평가를 제시하며, 주관적 및 객관적 지표를 사용하여 IFM를 고려하지 않은 방법과 IFM 기반 방법을 비교한다. 기존 방법의 핵심적 한계를 규명하고 향후 수중 영상 품질 향상 분야의 연구를 위한 실질적인 권고안을 제시한다.

ABSTRACT

Underwater images play a key role in ocean exploration, but often suffer from severe quality degradation due to light absorption and scattering in water medium. Although major breakthroughs have been made recently in the general area of image enhancement and restoration, the applicability of new methods for improving the quality of underwater images has not specifically been captured. In this paper, we review the image enhancement and restoration methods that tackle typical underwater image impairments, including some extreme degradations and distortions. Firstly, we introduce the key causes of quality reduction in underwater images, in terms of the underwater image formation model (IFM). Then, we review underwater restoration methods, considering both the IFM-free and the IFM-based approaches. Next, we present an experimental-based comparative evaluation of state-of-the-art IFM-free and IFM-based methods, considering also the prior-based parameter estimation algorithms of the IFM-based methods, using both subjective and objective analysis (the used code is freely available at https://github.com/wangyanckxx/Single-Underwater-Image-Enhancement-and-Color-Restoration). Starting from this study, we pinpoint the key shortcomings of existing methods, drawing recommendations for future research in this area. Our review of underwater image enhancement and restoration provides researchers with the necessary background to appreciate challenges and opportunities in this important field.

연구 동기 및 목표

• 수중 영상 형성 모델(IFM)을 사용하여 수중 영상 열화의 근본 원인을 분석한다.
• 색상 왜곡과 대trast 감소와 같은 수중 특화 손상에 대응하는 기존 이미지 강화 및 복원 기법을 체계적으로 검토한다.
• 주관적 및 객관적 평가 기준을 사용하여 최신의 IFM를 고려하지 않은 방법과 IFM 기반 방법을 비교 평가한다.
• IFM 기반 방법 내에서 우선 정보 기반 매개변수 추정 기법이 복원 성능 향상에 기여하는지를 평가한다.
• 현재 접근 방식의 핵심적 한계를 규명하고 향후 연구 방향을 위한 근거 기반 권고안을 제시한다.

제안 방법

• 저자들은 수중 영상 열화의 주요 원인으로서 빛의 흡수 및 산산이 흩어지는 현상을 모델링하기 위해 수중 영상 형성 모델(IFM)을 활용한다.
• 기존 방법을 IFM를 고려하지 않은 방법(예: 히스토그램 평준화, Retinex 기반 방법)과 IFM 기반 방법(전달도 및 조도 매개변수를 해소하는 방법)으로 분류한다.
• IFM 기반 방법의 경우 통계적 또는 물리적 우선 정보를 사용하여 전달도 및 조도 지도를 추정하는 우선 정보 기반 매개변수 추정 기법을 평가한다.
• 실제 수중 영상 데이터셋을 사용하여 종합적인 실험 설정을 수행하며, 정성적(주관적) 및 정량적(객관적) 평가 지표를 모두 적용한다.
• 공개된 코드를 포함하여 검토된 방법의 재현성과 벤치마킹을 가능하게 한다.
• 표준 이미지 품질 지표인 PSNR, SSIM 및 인간 관찰자의 시각적 점검을 통해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 IFM에 따르면 수중 환경에서 영상 열화의 주요 물리적 원인은 무엇인가?
• RQ2 다양한 열화 수준에서 IFM를 고려하지 않은 방법과 IFM 기반 방법 간의 수중 영상 품질 복원 성능은 어떻게 비교되는가?
• RQ3 우선 정보 기반 매개변수 추정 기법은 IFM 기반 복원 방법의 성능 향상에 얼마나 기여하는가?
• RQ4 극도의 수중 영상 열화 상황에서 현재 최신 기법들이 겪는 주요 한계는 무엇인가?
• RQ5 실험 결과를 바탕으로 향후 수중 영상 복원 분야의 연구를 이끄는 데 도움이 되는 권고안은 무엇인가?

주요 결과

• PSNR 및 SSIM와 같은 객관적 이미지 품질 지표 측면에서 IFM 기반 방법은 IFM를 고려하지 않은 방법보다 일반적으로 뛰어난 성능을 보이며, 특히 심한 열화 상황에서 두드러진다.
• IFM 기반 방법에서 우선 정보 기반 매개변수 추정 기법은 전달도 및 조도 지도를 보다 정확하게 모델링함으로써 복원 정확도를 크게 향상시킨다.
• 주관적 평가 결과, 일부 IFM를 고려하지 않은 방법은 시각적으로 매력적인 결과를 낼 수 있으나, 일반적으로 색상 왜곡과 환영 현상을 유발한다.
• IFM를 고려하지 않은 방법은 극도의 열화에 더 민감하며, 고탁도 조건에서 구조적 세부 정보를 유지하지 못한다.
• 본 연구는 현재 기법들이 다양한 수중 조건에 걸쳐 일반화 능력이 떨어진다는 점을 주요 한계로 규명한다.
• 저자들은 향후 연구가 물리적 일관성과 일반화 능력 향상을 위한 강력한 데이터 기반의 IFM 기반 모델에 집중해야 한다고 결론 내린다.