[论文解读] General Participative Media Single Image Restoration.

Felipe Codevilla, Joel De O. Gaya+2 more|arXiv (Cornell University)|Mar 6, 2016

Image Enhancement Techniques参考文献 20被引用 5

一句话总结

本文提出了一种针对参与性介质（如雾、沙尘暴和浑浊水体）的通用单图像复原方法，通过建模退化介质中的色彩变化，并结合局部对比度和色彩先验，构建复合统计先验。该方法在多种条件下均表现出鲁棒的复原性能，已在含参考图像和不含参考图像的水下和雾霾图像上得到验证。

ABSTRACT

This paper describes a method to restore degraded images captured in general participative media --- fog, turbid water, sand storm, etc. To obtain generality, we, first, propose a novel interpretation of the participative media image formation by considering the color variation of the media. Second, we introduce that joining different image priors is an effective alternative for image restoration. The proposed method contains a Composite Prior supported by statistics collected on both haze-free and degraded participative environment images. The key of the method is joining two complementary measures --- local contrast and color. The results presented for a variety of underwater and haze images demonstrate the power of the method. Moreover, we showed the potential of our method using a special dataset for which a reference haze-free image is available for comparison.

研究动机与目标

• 解决由一般参与性介质（包括雾、沙尘暴和浑浊水体）导致的图像退化复原挑战。
• 通过建模不同退化介质中固有的色彩变化，克服现有方法的局限性。
• 开发一种不依赖参考图像或场景特定假设的通用复原框架。
• 将互补的图像先验（局部对比度和色彩）整合到统一的统计框架中，以提升复原质量。
• 在多样化的现实世界退化图像（包括水下和雾霾场景）上展示方法的有效性。

提出的方法

• 提出一种新颖的图像形成模型，考虑参与性介质中的色彩变化，超越传统均匀退化模型的限制。
• 引入一种基于参与性环境中无雾图像和退化图像统计分析的复合先验。
• 将局部对比度和色彩先验作为互补度量，以增强复原的保真度。
• 采用联合优化框架，利用复合先验从单张输入图像中恢复无雾图像特征。
• 在自建数据集上进行训练和验证，包含参考图像和不包含参考图像，以评估在现实约束条件下的性能。

实验结果

研究问题

• RQ1 如何在雾、沙尘暴和浑浊水体等多样化的参与性介质中实现图像复原的泛化？
• RQ2 对退化介质中色彩变化的建模在多大程度上能提升复原精度？
• RQ3 通过复合统计先验将局部对比度和色彩先验结合，是否能优于单一先验方法？
• RQ4 在缺乏参考图像的情况下，该方法在具有挑战性的环境中的有效性如何？
• RQ5 该方法是否能在无需场景特定调优的情况下，泛化到不同成像条件？

主要发现

• 所提方法在多种水下和雾霾图像上实现了优越的复原质量，即使在无参考图像的情况下亦然。
• 通过复合先验整合局部对比度和色彩先验，显著提升了结构和色彩保真度。
• 该方法在不同类型的参与性介质（包括雾、沙尘暴和浑浊水体）中表现出强鲁棒性。
• 在含参考图像的特殊数据集上的定量结果证实，该方法相对于基线方法持续取得性能提升。
• 统计复合先验有效捕捉了无雾图像和退化图像的特征，从而实现了良好的泛化能力。