[论文解读] Color Constancy by Learning to Predict Chromaticity from Luminance

Ayan Chakrabarti|arXiv (Cornell University)|Jun 6, 2015

Color Science and Applications参考文献 21被引用 21

一句话总结

本文提出了一种新颖的色彩恒常性方法，通过结合经验统计与端到端深度学习，学习在给定亮度条件下像素色度的条件似然，从而估计场景光照。该方法在减少具有挑战性的异常图像上的误差方面优于当前最先进方法，通过在无空间或语义上下文的情况下建模像素级色度偏好，显著提升了鲁棒性。

ABSTRACT

Color constancy is the recovery of true surface color from observed color, and requires estimating the chromaticity of scene illumination to correct for the bias it induces. In this paper, we show that the per-pixel color statistics of natural scenes---without any spatial or semantic context---can by themselves be a powerful cue for color constancy. Specifically, we describe an illuminant estimation method that is built around a "classifier" for identifying the true chromaticity of a pixel given its luminance (absolute brightness across color channels). During inference, each pixel's observed color restricts its true chromaticity to those values that can be explained by one of a candidate set of illuminants, and applying the classifier over these values yields a distribution over the corresponding illuminants. A global estimate for the scene illuminant is computed through a simple aggregation of these distributions across all pixels. We begin by simply defining the luminance-to-chromaticity classifier by computing empirical histograms over discretized chromaticity and luminance values from a training set of natural images. These histograms reflect a preference for hues corresponding to smooth reflectance functions, and for achromatic colors in brighter pixels. Despite its simplicity, the resulting estimation algorithm outperforms current state-of-the-art color constancy methods. Next, we propose a method to learn the luminance-to-chromaticity classifier "end-to-end". Using stochastic gradient descent, we set chromaticity-luminance likelihoods to minimize errors in the final scene illuminant estimates on a training set. This leads to further improvements in accuracy, most significantly in the tail of the error distribution.

研究动机与目标

• 开发一种仅依赖像素级亮度与色度统计、无需空间或语义上下文的色彩恒常性方法。
• 通过建模在观测亮度下真实色度的条件似然，提升光照估计的准确性。
• 探索端到端学习从亮度到色度的分类器，以最小化最终的光照估计误差。
• 在具有挑战性的场景中增强鲁棒性，特别是针对由少数材料主导且色度模糊的图像。
• 在不增加推理成本的前提下，降低误差分布尾部的误差，尤其在75%和90%分位数处。

提出的方法

• 该方法定义了一个离散的条件似然函数 L[ŷ, y]，表示在观测亮度 y 下真实色度 ŷ 的概率，该函数基于自然图像数据集的经验证据直方图学习得到。
• 在推理阶段，每个像素的观测颜色将可能的真实色度限制在由候选光照解释的范围内，分类器为这些可能性分配似然值，从而形成每个像素对光照的分布。
• 通过聚合图像中所有像素的这些局部分布，计算全局光照估计。
• 首先使用离散化亮度与色度值上的直方图计数构建经验分类器，反映明亮像素中对平滑反射率和非彩色性的自然偏好。
• 采用随机梯度下降进行端到端学习，优化似然函数 L[ŷ, y] 以最小化训练集上的全局光照估计误差，采用类似Dropout的子采样策略以提升泛化能力。
• 优化目标基于最终全局光照估计的平均误差，梯度通过聚合与估计流程的反向传播计算。

实验结果

研究问题

• RQ1 仅使用像素级颜色统计——特别是亮度到色度的关系——能否作为色彩恒常性的一种强而独立的线索，而无需依赖空间或语义上下文？
• RQ2 通过梯度下降端到端学习亮度到色度的似然函数，以最小化最终光照估计误差，是否能带来优于纯经验方法的性能提升？
• RQ3 端到端学习在具有模糊色度的挑战性图像上，能在多大程度上降低误差，特别是在误差分布的尾部？
• RQ4 一个简单、非参数化、基于直方图的分类器能否超越使用高阶特征或语义推理的复杂SOTA方法？
• RQ5 学习得到的似然函数与经验分布有何不同？这反映出模型对局部色度变化的何种敏感性？

主要发现

• 仅使用经验直方图分类器的性能已优于当前最先进的色彩恒常性方法，平均光照估计误差更低。
• 端到端学习亮度到色度的似然函数进一步提升了准确性，尤其在75%和90%分位数处显著降低了误差，表明在困难情况下的更强鲁棒性。
• 端到端训练的模型仅使用三折交叉验证，即可达到使用十折交叉验证的经验方法的性能水平，表明其在数据量较少时仍具备极强的泛化能力。
• 学习得到的似然函数比经验版本具有更尖锐、更不平滑的过渡，表明其能适应局部色度模糊性，并将信念更准确地导向邻近更可靠的像素。
• 像素级信念方差图在端到端训练后表现出更高频的波动，表明对局部颜色变化更敏感，且更少数量的有信息量像素对整体估计产生更强影响。
• 在示例图像中，端到端方法不仅降低了全局估计误差，还增加了能产生准确个体估计的像素数量，尤其在视觉同质区域表现更优。