[论文解读] CLCC: Contrastive Learning for Color Constancy

Yi‐Chen Lo, Chia-Che Chang+5 more|arXiv (Cornell University)|Jun 9, 2021

Color Science and Applications参考文献 66被引用 5

一句话总结

CLCC 提出了一种完全监督的对比学习框架用于色彩恒常性，通过新颖的原始域色彩增强技术构建与光照相关的特征，从而提升了模型的鲁棒性和准确性。该方法在 NUS-8 数据集上实现了 17.5% 的相对误差降低和数据稀疏区域 28.7% 的最差误差降低，且未增加模型复杂度。

ABSTRACT

In this paper, we present CLCC, a novel contrastive learning framework for color constancy. Contrastive learning has been applied for learning high-quality visual representations for image classification. One key aspect to yield useful representations for image classification is to design illuminant invariant augmentations. However, the illuminant invariant assumption conflicts with the nature of the color constancy task, which aims to estimate the illuminant given a raw image. Therefore, we construct effective contrastive pairs for learning better illuminant-dependent features via a novel raw-domain color augmentation. On the NUS-8 dataset, our method provides $17.5\%$ relative improvements over a strong baseline, reaching state-of-the-art performance without increasing model complexity. Furthermore, our method achieves competitive performance on the Gehler dataset with $3 imes$ fewer parameters compared to top-ranking deep learning methods. More importantly, we show that our model is more robust to different scenes under close proximity of illuminants, significantly reducing $28.7\%$ worst-case error in data-sparse regions.

研究动机与目标

• 解决依赖场景内容而非光照特征的深度色彩恒常性模型中学习虚假相关性的挑战。
• 提升在数据稀疏区域（尤其是低光照条件下）的模型鲁棒性。
• 开发一种专为色彩恒常性设计的对比学习框架，克服图像分类中常用标准增强方法的局限性。
• 在不增加模型复杂度或依赖额外数据的前提下，实现最先进性能。

提出的方法

• CLCC 利用标签信息构建对比对，确保正样本对来自同一场景在不同光照下的图像，负样本对来自不同场景但在相同光照下的图像。
• 提出一种新颖的原始域色彩增强方法，基于色彩域知识，生成真实且信息丰富的对比样本，同时保持与场景辐射度的线性关系。
• 该框架采用完全监督的对比学习目标，通过光照和场景标签明确定义正样本对，增强特征的判别能力。
• 该方法基于强基线模型（SqueezeNet-FC4）应用对比学习，无需架构修改，保持了模型复杂度。
• 色彩增强包括 Full-Aug（通过色彩校准板实现完整色域映射）和 WB-Aug（基于白平衡的中性色映射），两者均旨在保留光照敏感性。
• 模型使用对比损失进行训练，使同一场景在不同光照下的特征表示相互远离，而不同场景在相同光照下的特征表示相互靠近。

Figure 1: Our main idea of CLCC: The scene-invariant, illuminant-dependent representation of the same scene under different illuminants should be far from each other, while different scenes under the same illuminant should be close to each other.

实验结果

研究问题

• RQ1 通过基于光照和场景标签显式构建正负样本对，完全监督的对比学习能否提升色彩恒常性任务的特征表示？
• RQ2 在原始域中采用新颖的、光照感知的色彩增强方法，能否在不破坏线性辐射度关系的前提下增强色彩恒常性的对比学习？
• RQ3 CLCC 是否能提升数据稀疏区域（尤其是罕见或极端光照条件）的鲁棒性？
• RQ4 CLCC 是否能在不增加模型复杂度或依赖辅助数据的前提下实现最先进性能？

主要发现

• 在 NUS-8 数据集上，CLCC 将平均角度误差相对降低了 17.5%，从基线 SqueezeNet-FC4 的 2.23 降至 1.84。
• 在 Gehler 数据集上，CLCC 实现了具有竞争力的性能，与顶尖方法 C4 的性能差距不足 0.1，尽管参数量仅为后者的 1/3。
• 在数据稀疏区域（如粉红色簇中仅 16 个数据点），CLCC 将最差误差降低了 28.7%，从 Gehler 数据集上的 3.24 降至 2.31。
• 仅使用 WB-Aug 即可使平均角度误差降低 13.5%，最差误差降低 16.5%，表明其在无完整色域映射时仍具显著有效性。
• Full-Aug 进一部提升性能，相比 WB-Aug 将平均角度误差再降低 5.1%，表明精确色域合成的显著优势。
• 在不使用辅助数据时，CLCC 在所有指标上均优于 FFCC-4 channels，且在各簇测试误差的标准差更低，展现出更强的鲁棒性。

Figure 2: An overview of our CLCC: Besides the main color constancy task, we propose to incorporate contrastive learning to learn generalized and illuminant-dependent feature representations.