[论文解读] Color Constancy by GANs: An Experimental Survey

Partha Das, Anil S. Baslamisli+3 more|arXiv (Cornell University)|Dec 7, 2018

Image Enhancement Techniques参考文献 41被引用 5

一句话总结

本文将色彩恒常性建模为使用生成对抗网络（GAN）的图像到图像翻译任务，特别评估了Pix2Pix、CycleGAN和StarGAN在基准数据集上的表现。结果表明，CycleGAN在多个数据集上实现了最先进性能，Cube数据集上的平均误差低至1.5，同时基于数据集和场景类型，为CC-GAN架构提供了可操作的设计建议。

ABSTRACT

In this paper, we formulate the color constancy task as an image-to-image translation problem using GANs. By conducting a large set of experiments on different datasets, an experimental survey is provided on the use of different types of GANs to solve for color constancy i.e. CC-GANs (Color Constancy GANs). Based on the experimental review, recommendations are given for the design of CC-GAN architectures based on different criteria, circumstances and datasets.

研究动机与目标

• 通过将色彩恒常性问题形式化为使用生成对抗网络（GAN）的图像到图像翻译任务，解决计算机视觉中的色彩恒常性挑战。
• 评估不同GAN架构（Pix2Pix、CycleGAN和StarGAN）在色彩恒常性任务中的有效性与泛化能力。
• 分析不同数据集和场景类型下的性能差异，以识别每种GAN架构的优势与局限性。
• 基于数据集特征和应用场景，为未来CC-GAN架构的设计提供数据驱动的建议。
• 识别基于GAN的色彩恒常性中的关键误差来源，以指导未来研究与模型改进。

提出的方法

• 将色彩恒常性形式化为图像到图像翻译任务：将受未知光照影响的RGB图像映射为在标准（白色）光源下的白平衡版本。
• 采用三种最先进的GAN架构：Pix2Pix（条件GAN，用于无配对图像翻译）、CycleGAN（循环一致性GAN，适用于无配对数据）和StarGAN（单模型多领域图像翻译）。
• 在三个基准数据集（SFU Gray Ball、ColorChecker RECommended和Cube）上训练并评估每种GAN，使用标准色彩恒常性指标，包括平均误差、中位数误差和三角误差。
• 使用感知质量和色彩保真度指标评估色彩校正输出的质量，并与经典方法及基于深度学习的基线方法进行比较。
• 应用领域自适应技术和数据增强方法，以提升在不同数据集和场景类型下的泛化能力。
• 通过消融实验分析架构选择、损失函数和训练策略对性能与鲁棒性的影响。

实验结果

研究问题

• RQ1 不同GAN架构（Pix2Pix、CycleGAN、StarGAN）在多样化的数据集上执行色彩恒常性任务时表现如何？
• RQ2 当应用于未见过的场景类型和光照条件时，每种GAN架构的泛化能力如何？
• RQ3 哪些架构与训练选择能带来基于GAN的色彩恒常性中最具鲁棒性与准确性的校正效果？
• RQ4 基于GAN的色彩恒常性中的主要误差来源是什么？这些误差在不同数据集和场景类型中如何变化？
• RQ5 基于GAN的方法在准确性与视觉质量方面，能否超越或补充传统及基于深度学习的色彩恒常性算法？

主要发现

• 在Cube数据集上，CycleGAN实现了最佳整体性能，平均误差为1.5，优于Fast Fourier Color Constancy（平均误差2.0）。
• Pix2Pix在SFU Gray Ball数据集（平均误差3.6）和ColorChecker RECommended数据集（平均误差1.9）上均取得最低平均误差，表明其在受控、高对比度场景中表现优异。
• StarGAN在所有数据集上表现最弱，Cube数据集上的平均误差为5.7，表明其在未经架构改进的情况下不适用于色彩恒常性任务。
• CycleGAN在SFU Gray Ball数据集上取得第二好的结果（平均误差3.4），在ColorChecker RECommended数据集上表现最佳（平均误差1.5），展现出在多样化光照条件下的强大泛化能力。
• 本研究发现，训练与测试数据之间的领域偏移和分布偏移是性能下降的主要原因，尤其对CycleGAN和StarGAN影响显著。
• 作者得出结论：架构选择必须根据数据集和场景类型进行调整，其中Pix2Pix在受控环境中表现优异，而CycleGAN在真实世界、多样化场景中展现出更优的鲁棒性。