[论文解读] Convolutional Color Constancy

Jonathan T. Barron|arXiv (Cornell University)|Jul 2, 2015

Color Science and Applications参考文献 5被引用 21

一句话总结

本文提出卷积色度恒常性（CCC），一种判别式深度学习方法，将色度恒常性重新定义为对数色度空间中的二维空间定位任务。通过使用卷积神经网络架构训练模型以区分正确与错误白平衡图像，CCC 在标准基准测试上的性能相比之前最先进方法提升了近 40%。

ABSTRACT

Color constancy is the problem of inferring the color of the light that illuminated a scene, usually so that the illumination color can be removed. Because this problem is underconstrained, it is often solved by modeling the statistical regularities of the colors of natural objects and illumination. In contrast, in this paper we reformulate the problem of color constancy as a 2D spatial localization task in a log-chrominance space, thereby allowing us to apply techniques from object detection and structured prediction to the color constancy problem. By directly learning how to discriminate between correctly white-balanced images and poorly white-balanced images, our model is able to improve performance on standard benchmarks by nearly 40%.

研究动机与目标

• 通过将色度恒常性重新定义为判别式学习问题而非生成式问题，解决长期存在的色度恒常性挑战。
• 克服传统统计模型依赖于自然图像色度分布假设的局限性。
• 利用目标检测与结构化预测的洞察，提升图像白平衡的鲁棒性与准确性。
• 证明判别式学习，尤其是深度架构，显著优于传统生成式方法在色度恒常性任务中的表现。
• 通过在多个标准数据集上实现最先进性能，建立色度恒常性的新基准。

提出的方法

• 在对数色度空间中将色度恒常性重新定义为二维空间定位任务，其中光照校正对应于色度直方图的平移。
• 使用卷积神经网络（CNN）学习一个判别分类器，以预测给定图像块是否为正确白平衡。
• 采用对比学习结合困难负样本挖掘进行训练，以增强对正确与错误白平衡图像的判别能力。
• 应用结构化预测技术，确保图像中预测的光照校正具有空间一致性。
• 通过多尺度卷积层整合全局与局部特征，以捕捉场景级与局部色度统计特性。
• 采用双分支网络设计：一个分支处理输入图像，另一个分支生成白平衡区域置信度的空间图。

实验结果

研究问题

• RQ1 色度恒常性是否可被有效重新定义为判别式学习任务，而非生成式建模问题？
• RQ2 来自目标检测的技术（如空间定位与困难负样本挖掘）在多大程度上可提升色度恒常性任务的性能？
• RQ3 一个训练为区分正确与错误白平衡图像的深度学习模型，是否优于基于色度分布假设的传统统计模型？
• RQ4 在对数色度空间中采用空间定位建模如何提升对复杂光照与场景变化的鲁棒性？
• RQ5 判别式学习带来的性能提升是否可在具有不同光照条件与场景复杂度的多样化基准数据集上实现泛化？

主要发现

• 在重新处理的 Color Checker 数据集上，CCC 的平均误差为 1.95°，相比之前最先进方法（Corrected-Moment，3.5°）提升了 40%。
• 在 Cheng 等人 [14] 的数据集上，CCC（disc+ext）的平均误差为 2.38°，优于第二名方法超过 1.5°。
• 该模型在两个基准数据集上的中位数误差分别降低至 1.22° 和 1.48°，表明对异常值具有更强的鲁棒性。
• 模型在最坏情况与第 95 百分位误差指标上表现显著更优，证明其在复杂场景中具备更强的泛化能力。
• 消融实验确认，判别式训练与扩展特征提取（ext）的结合带来了最一致的性能提升。
• 结果表明，判别式深度学习在色度恒常性任务中比生成式建模更有效，挑战了该领域长期存在的假设。