[论文解读] Color Constancy Using CNNs

Simone Bianco, Claudio Cusano+1 more|arXiv (Cornell University)|Apr 17, 2015

Color Science and Applications被引用 18

一句话总结

本文提出一种卷积神经网络（CNN）用于颜色恒常性，直接从图像块中估计场景光照，无需手工设计特征。该模型在单一优化过程中整合了特征学习与回归，实现了在RAW图像数据集上的最先进性能，并在光照空间变化的场景中表现出稳定的局部光照估计能力。

ABSTRACT

In this work we describe a Convolutional Neural Network (CNN) to accurately predict the scene illumination. Taking image patches as input, the CNN works in the spatial domain without using hand-crafted features that are employed by most previous methods. The network consists of one convolutional layer with max pooling, one fully connected layer and three output nodes. Within the network structure, feature learning and regression are integrated into one optimization process, which leads to a more effective model for estimating scene illumination. This approach achieves state-of-the-art performance on a standard dataset of RAW images. Preliminary experiments on images with spatially varying illumination demonstrate the stability of the local illuminant estimation ability of our CNN.

研究动机与目标

• 开发一种无需依赖手工设计特征的深度学习方法，以实现精确的场景光照估计。
• 将特征学习与回归整合到单一端到端优化过程中，以提升性能。
• 实现在小图像块上的局部光照估计，支持光照空间变化的场景。
• 在标准RAW图像数据集上实现颜色恒常性的最先进性能。
• 评估模型在具有非均匀照明的合成图像上的鲁棒性与泛化能力。

提出的方法

• CNN以32×32图像块作为输入，使用一个卷积层配合最大池化，随后是全连接层和三个输出节点，用于预测光照色度。
• 网络通过端到端训练，使用回归损失函数最小化预测光照与真实光照之间的角度误差。
• 特征学习与光照预测联合优化，避免了手工特征工程的需要。
• 对于局部估计，网络对每个图像块独立预测光照，并通过空间滤波（高斯或中值滤波）进一步优化结果。
• 通过消融实验对卷积核大小、卷积核数量、池化大小和全连接层单元数等超参数进行调优。
• 通过中值估计聚合图像块的预测结果，以提高鲁棒性。

实验结果

研究问题

• RQ1 能否通过端到端训练的CNN在无需手工特征的情况下学习到有效的光照估计特征？
• RQ2 在单一优化过程中整合特征学习与回归是否能提升颜色恒常性的性能？
• RQ3 所提出的CNN能否在光照空间变化的图像中实现局部光照估计？
• RQ4 该模型在标准RAW图像基准测试中与最先进方法相比表现如何？
• RQ5 哪些超参数设置（如卷积核大小、池化大小）能获得最佳性能？

主要发现

• 所提出的CNN在标准RAW图像数据集上实现了最先进性能，优于21种现有算法，涵盖基于统计与基于学习的两类方法。
• 测试集上的中值角度误差为3.72°，第90百分位误差为7.78°，表明整体精度优异。
• 模型在单个图像块上实现了最低0.00°的角度误差，展示了局部估计的高精度。
• 空间滤波（高斯或中值滤波）将中值误差从3.72°降低至3.39°，提升了局部估计的鲁棒性。
• 在具有两种不同光照的合成图像上，模型表现良好，显示出在非均匀照明条件下的稳定性。
• 消融实验表明，当卷积核数量（约32）、池化大小（约2）和全连接层单元数（约40）处于中间值时，性能达到峰值。