[论文解读] CroP: Color Constancy Benchmark Dataset Generator

Nikola Banić, Karlo Koščević+2 more|arXiv (Cornell University)|Mar 29, 2019

Color Science and Applications参考文献 34被引用 4

一句话总结

本文提出 CroP，一种用于色彩恒常性的数据集生成器，通过在受控投影光照条件下合成逼真的原始图像，模拟印刷照片的成像。通过模拟多样化且精确标注的光照条件，CroP 使深度学习模型能够更好地泛化到真实世界数据集，在 Cube+ 等基准测试中实现高性能。

ABSTRACT

Implementing color constancy as a pre-processing step in contemporary digital cameras is of significant importance as it removes the influence of scene illumination on object colors. Several benchmark color constancy datasets have been created for the purpose of developing and testing new color constancy methods. However, they all have numerous drawbacks including a small number of images, erroneously extracted ground-truth illuminations, long histories of misuses, violations of their stated assumptions, etc. To overcome such and similar problems, in this paper a color constancy benchmark dataset generator is proposed. For a given camera sensor it enables generation of any number of realistic raw images taken in a subset of the real world, namely images of printed photographs. Datasets with such images share many positive features with other existing real-world datasets, while some of the negative features are completely eliminated. The generated images can be successfully used to train methods that afterward achieve high accuracy on real-world datasets. This opens the way for creating large enough datasets for advanced deep learning techniques. Experimental results are presented and discussed. The source code is available at http://www.fer.unizg.hr/ipg/resources/color_constancy/.

研究动机与目标

• 解决现有色彩恒常性基准数据集的局限性，包括规模小、真实光照标签存在噪声或错误，以及违反基本假设的问题。
• 克服真实世界训练数据稀缺的问题，该问题阻碍了先进深度学习方法在光照估计中的发展。
• 创建一个可扩展、可控且逼真的数据集生成流程，在保留真实世界图像关键统计特性的同时，消除常见数据集缺陷。
• 证明在人工生成的 CroP 数据集上训练的模型可在真实世界基准上实现优异性能，验证合成数据的真实性和实用性。

提出的方法

• CroP 生成器使用已知的相机传感器模型，模拟在投影光照下对印刷 sRGB 色卡的原始图像采集。
• 它利用佳能 EOS 6D Mk II 传感器的光谱响应特性以及投影仪灯泡的光谱，通过标准色彩成像模型计算物理上合理的图像形成过程。
• 真实光照标签由投影仪灯泡的光谱功率分布定义，确保标签的精确性和一致性。
• 生成器支持任意组合的光源与打印设置，实现大规模、多样化数据集的可控生成。
• 图像形成遵循标准线性成像模型：$ f_c( extbf{x}) = igint_{ ext{ω}} I( extbf{x}, ext{λ}) R( extbf{x}, ext{λ}) \rho_c( ext{λ}) d ext{λ} $，假设场景中光照均匀。
• 该方法避免使用校准物体、黑色电平伪影和截断像素，确保训练和评估可用的干净数据。

实验结果

研究问题

• RQ1 合成数据集生成器能否生成在色彩恒常性背景下统计特性与真实世界图像高度相似的图像？
• RQ2 在 CroP 生成数据上训练的模型在真实世界基准（如 Cube+）上的泛化能力如何？
• RQ3 使用 CroP 生成的合成数据能否缓解现有数据集中常见的问题，如错误或噪声的真实光照标签？
• RQ4 在 CroP 上训练的基于学习的色彩恒常性方法的性能，与在真实世界数据集上训练的方法相比如何？
• RQ5 CroP 生成器能否支持先进深度学习技术在色彩恒常性中所需的大规模数据生成？

主要发现

• 在 CroP 生成数据上训练的模型在真实世界 Cube+ 基准上实现了具有竞争力的性能，Color Beaver 的中位角误差为 0.74，Smart Color Cat 为 1.43。
• 在 CroP 与真实世界数据上训练的性能差距相对较小，尤其是 Color Beaver 等方法，表明其具备强大的泛化能力。
• 在 CroP 数据上训练的回归树模型中位角误差为 1.66，表明即使简单模型也能从合成数据的逼真性中获益。
• 生成的图像与真实世界图像共享关键统计特性，支持基于学习方法的有效训练。
• 在生成过程中使用高质量相机（佳能 EOS 6D Mk II）显著降低了噪声并提升了真实感，从而改善了模型泛化能力。
• CroP 支持任意规模的数据集生成，同时提供精确可控的真实光照标签，克服了现有数据集固定且样本量小的局限性。