[论文解读] CCC: Color Classified Colorization

Mrityunjoy Gain, Avi Deb Raha+1 more|arXiv (Cornell University)|Mar 3, 2024

Pigment Synthesis and Properties被引用 6

一句话总结

本论文将图像着色重新定义为带权重的颜色分类任务，拥有215个颜色类，提出基于 SAM 的边缘感知颜色和谐，以及引入色彩数比（CNR）度量；在多个数据集上优于基线。

ABSTRACT

Automatic colorization of gray images with objects of different colors and sizes is challenging due to inter- and intra-object color variation and the small area of the main objects due to extensive backgrounds. The learning process often favors dominant features, resulting in a biased model. In this paper, we formulate the colorization problem into a multinomial classification problem and then apply a weighted function to classes. We propose a set of formulas to transform color values into color classes and vice versa. Class optimization and balancing feature distribution are the keys for good performance. Observing class appearance on various extremely large-scale real-time images in practice, we propose 215 color classes for our colorization task. During training, we propose a class-weighted function based on true class appearance in each batch to ensure proper color saturation of individual objects. We establish a trade-off between major and minor classes to provide orthodox class prediction by eliminating major classes' dominance over minor classes. As we apply regularization to enhance the stability of the minor class, occasional minor noise may appear at the object's edges. We propose a novel object-selective color harmonization method empowered by the SAM to refine and enhance these edges. We propose a new color image evaluation metric, the Chromatic Number Ratio (CNR), to quantify the richness of color components. We compare our proposed model with state-of-the-art models using five different datasets: ADE, Celeba, COCO, Oxford 102 Flower, and ImageNet, in both qualitative and quantitative approaches. The experimental results show that our proposed model outstrips other models in visualization and CNR measurement criteria while maintaining satisfactory performance in regression (MSE, PSNR), similarity (SSIM, LPIPS, UIQI), and generative criteria (FID).

研究动机与目标

• 通过将颜色预测视为加权分类任务来解决自动着色中的颜色不平衡问题。
• 以数据驱动的方式优化颜色类粒度和类别权重，以保留少数颜色。
• 整合基于 SAM 的对象选择性颜色和谐以改进对象边缘。
• 引入新的色彩数比（CNR）度量，在生成的图像中量化颜色丰富度。
• 在多个数据集上展示相对于最先进的着色方法的更优性能。

提出的方法

• 使用基于网格的分箱公式将连续的 a* 和 b* 色彩通道转换为离散的颜色类。
• 使用 DenseNet 编码器和 CNN 解码器的编码器-解码器架构来预测HxW x C的颜色类分布。
• 使用交叉熵损失及分批、数据驱动的类别权重方案进行训练，以平衡主/次颜色类别。
• 引入以权衡为基础的类别权重调整（Loss_CBCE），以防止对罕见颜色的过度或不足表示。
• 结合基于 SAM 的对象选择性颜色和谐，通过在分段内对齐颜色模式来改进边缘。
• 提出色彩数比（CNR）以量化生成图像中的颜色类多样性。

实验结果

研究问题

• RQ1 如何重新定义颜色着色，以减轻特征（颜色）不平衡并保留少数颜色？
• RQ2 哪些数据驱动的方法可以为鲁棒的颜色预测优化颜色类水平和类别权重？
• RQ3 基于 SAM 的边缘细化是否能在对象边界改善颜色和谐？
• RQ4 所提出的色彩数比（CNR）是否能有效衡量着色输出中的颜色多样性？
• RQ5 与现有方法相比，CCC 在跨多数据集上有何表现？

主要发现

• CCC 在各种数据集上（ADE、Celeba、COCO、Oxford 102 Flower、ImageNet）的色彩数比（CNR）方面领先基线。
• 215颜色类配置在保持整体颜色保真度的同时捕捉了少数颜色。
• 分批类别权重与 Loss_CBCE 公式提高了少数类的颜色饱和度，降低了去饱和/过饱和偏差。
• SAM 驱动的对象选择性颜色和谐在边界处使边缘更清晰，减少颜色渗透。
• 定量结果在标准指标上显示有竞争力或优越（MSE、PSNR、SSIM、LPIPS、UIQI、FID），同时达到更高的 CNR；CCC 在 Oxford Flowers 数据集尤为出色。
• 所提出的 CNR 指标提供了超越传统回归/相似度指标的颜色丰富性综合度量。