[论文解读] Fast and High Quality Highlight Removal from A Single Image

Dongsheng An, Jinli Suo+3 more|arXiv (Cornell University)|Dec 1, 2015

Color Science and Applications参考文献 22被引用 3

一句话总结

本文提出了一种基于 L₂ 归一化双色模型和纯漫反射像素分布规则（PDDR）的快速、解析式高光去除方法，适用于单张自然图像。通过将像素投影到与光照正交和并行的子空间中，该方法实现了鲁棒、自适应的聚类以及无需近似的无高光漫反射分量恢复，处理每张 500×600 像素图像耗时不足 0.02 秒，结果质量优异。

ABSTRACT

Specular reflection exists widely in photography and causes the recorded color deviating from its true value, so fast and high quality highlight removal from a single nature image is of great importance. In spite of the progress in the past decades in highlight removal, achieving wide applicability to the large diversity of nature scenes is quite challenging. To handle this problem, we propose an analytic solution to highlight removal based on an L2 chromaticity definition and corresponding dichromatic model. Specifically, this paper derives a normalized dichromatic model for the pixels with identical diffuse color: a unit circle equation of projection coefficients in two subspaces that are orthogonal to and parallel with the illumination, respectively. In the former illumination orthogonal subspace, which is specular-free, we can conduct robust clustering with an explicit criterion to determine the cluster number adaptively. In the latter illumination parallel subspace, a property called pure diffuse pixels distribution rule (PDDR) helps map each specular-influenced pixel to its diffuse component. In terms of efficiency, the proposed approach involves few complex calculation, and thus can remove highlight from high resolution images fast. Experiments show that this method is of superior performance in various challenging cases.

研究动机与目标

• 解决在各类场景中从单张自然图像中去除镜面高光的挑战。
• 克服以往方法依赖多幅图像、偏振硬件或复杂优化的局限性。
• 开发一种高效且准确的方法，避免强假设或近似。
• 即使在具有复杂材质和变化光照的场景中，也能实现鲁棒的漫反射与镜面分量分离。
• 实现实时性能，适用于高分辨率图像，且不损失质量。

提出的方法

• 提出一种 L₂ 归一化双色模型，通过相对于光照的正交与平行子空间，将像素颜色分解为漫反射与镜面分量。
• 利用光照正交子空间，基于显式的聚类数量准则，实现对漫反射像素的鲁棒、自适应聚类。
• 在光照平行子空间中应用纯漫反射像素分布规则（PDDR），将受镜面影响的像素映射到其真实的漫反射分量。
• 采用下采样策略，在保持材质聚类精度的同时，加速高分辨率图像的处理。
• 避免迭代或基于优化的计算，转而依赖解析解与高效的 K-means 聚类。
• 使用基于色度的投影，确保稳定性并避免在灰色或白色区域的能量损失。

实验结果

研究问题

• RQ1 单幅图像高光去除方法是否能在不依赖多幅图像或硬件输入的前提下，同时实现高质量与快速处理？
• RQ2 如何在不依赖强假设或近似的情况下，实现漫反射与镜面分量的解析分离？
• RQ3 能否设计一种鲁棒、自适应的聚类方法，以在自然场景的各类材质中识别出纯漫反射像素？
• RQ4 PDDR 原理在多大程度上能提升受镜面影响区域中漫反射分量恢复的准确性？
• RQ5 该方法在高分辨率图像以及全镜面或灰色场景等极端情况下的表现如何？

主要发现

• 该方法在 500×600 像素图像上的高光去除耗时不足 0.02 秒，优于先前工作的 C++ 实现方法。
• 该方法在具有互反射、强镜面高光和混合材质等复杂情况下的表现更优。
• 其在户外场景（如汽车和植物）中成功实现了漫反射与镜面分量的分离，展现出广泛的适用性。
• 该方法在大多数自然场景中保持了颜色保真度，避免了伪影，但在纯镜面或灰色区域可能损失能量。
• 在全镜面场景等极端情况下，结果仍受光照不确定性影响，证实了此类情况的固有不适定性。
• 下采样策略实现了高分辨率图像的高效处理，且精度损失可忽略。