[论文解读] An Experimental-based Review of Image Enhancement and Image Restoration Methods for Underwater Imaging

Yan Wang, Wei Song+4 more|arXiv (Cornell University)|Jul 7, 2019

Image Enhancement Techniques参考文献 115被引用 14

一句话总结

本文对最先进的水下图像增强与复原方法进行了全面的实验评估，通过主观与客观指标比较了无IFM（图像形成模型）方法与基于IFM的方法。研究识别出现有方法的关键局限性，并为未来水下图像质量提升研究提供了可操作的建议。

ABSTRACT

Underwater images play a key role in ocean exploration, but often suffer from severe quality degradation due to light absorption and scattering in water medium. Although major breakthroughs have been made recently in the general area of image enhancement and restoration, the applicability of new methods for improving the quality of underwater images has not specifically been captured. In this paper, we review the image enhancement and restoration methods that tackle typical underwater image impairments, including some extreme degradations and distortions. Firstly, we introduce the key causes of quality reduction in underwater images, in terms of the underwater image formation model (IFM). Then, we review underwater restoration methods, considering both the IFM-free and the IFM-based approaches. Next, we present an experimental-based comparative evaluation of state-of-the-art IFM-free and IFM-based methods, considering also the prior-based parameter estimation algorithms of the IFM-based methods, using both subjective and objective analysis (the used code is freely available at https://github.com/wangyanckxx/Single-Underwater-Image-Enhancement-and-Color-Restoration). Starting from this study, we pinpoint the key shortcomings of existing methods, drawing recommendations for future research in this area. Our review of underwater image enhancement and restoration provides researchers with the necessary background to appreciate challenges and opportunities in this important field.

研究动机与目标

• 通过水下图像形成模型（IFM）分析水下图像退化的根本原因。
• 系统性地回顾针对水下特异性退化问题（如色彩失真和对比度降低）的图像增强与复原方法。
• 使用主观与客观评估标准，对最先进的无IFM与基于IFM的方法进行对比评估。
• 评估基于先验的参数估计技术在基于IFM的方法中的应用，以提升复原性能。
• 识别当前方法的关键缺陷，并基于实证结果为未来研究方向提供有依据的建议。

提出的方法

• 作者采用水下图像形成模型（IFM）来建模光吸收与散射效应，作为图像退化的主要原因。
• 他们将现有方法分为无IFM方法（如直方图均衡化、基于Retinex的方法）与基于IFM的方法（如求解透射率与光照参数的方法）。
• 对于基于IFM的方法，他们评估了利用统计或物理先验来估计透射率与光照图的基于先验的参数估计技术。
• 采用真实水下图像数据集，开展全面的实验设置，结合定性（主观）与定量（客观）评估指标。
• 评估包含公开可用的代码，支持方法的可重现性与基准测试。
• 性能通过标准图像质量指标（如PSNR、SSIM）以及人工观察者的视觉检查进行评估。

实验结果

研究问题

• RQ1 根据IFM，水下环境中图像退化的首要物理原因是什么？
• RQ2 在不同退化程度下，无IFM方法与基于IFM的方法在恢复水下图像质量方面表现如何比较？
• RQ3 基于先验的参数估计技术在多大程度上提升了基于IFM的复原方法的性能？
• RQ4 当应用于极端水下图像退化时，当前最先进方法的关键局限性是什么？
• RQ5 基于实证结果，可以得出哪些指导未来水下图像复原研究的建议？

主要发现

• 在PSNR、SSIM等客观图像质量指标方面，基于IFM的方法普遍优于无IFM方法，尤其在严重退化条件下表现更优。
• 在基于IFM的方法中，基于先验的参数估计显著提升了复原精度，通过更准确地建模透射率与光照图实现。
• 主观评估显示，尽管部分无IFM方法能产生视觉上吸引人的结果，但常引入色彩失真与光晕效应。
• 无IFM方法对极端退化更敏感，在高浑浊度条件下难以保持结构细节。
• 本研究识别出当前方法在不同水下环境间泛化能力不足是主要局限。
• 作者得出结论：未来研究应聚焦于鲁棒、数据驱动的基于IFM的模型，提升其物理一致性与泛化能力。