[논문 리뷰] CCC: Color Classified Colorization

Mrityunjoy Gain, Avi Deb Raha외 1명|arXiv (Cornell University)|2024. 03. 03.

Pigment Synthesis and Properties인용 수 6

한 줄 요약

이 논문은 이미지 색상화를 215개의 색 클래스로 가중된 색 분류 태스크로 재정의하고, SAM 기반 에지 인식 색 조화를 도입하며, Chromatic Number Ratio(CNR) 지표를 제안한다; 여러 데이터셋에서 베이스라인보다 우수한 성능을 보인다.

ABSTRACT

Automatic colorization of gray images with objects of different colors and sizes is challenging due to inter- and intra-object color variation and the small area of the main objects due to extensive backgrounds. The learning process often favors dominant features, resulting in a biased model. In this paper, we formulate the colorization problem into a multinomial classification problem and then apply a weighted function to classes. We propose a set of formulas to transform color values into color classes and vice versa. Class optimization and balancing feature distribution are the keys for good performance. Observing class appearance on various extremely large-scale real-time images in practice, we propose 215 color classes for our colorization task. During training, we propose a class-weighted function based on true class appearance in each batch to ensure proper color saturation of individual objects. We establish a trade-off between major and minor classes to provide orthodox class prediction by eliminating major classes' dominance over minor classes. As we apply regularization to enhance the stability of the minor class, occasional minor noise may appear at the object's edges. We propose a novel object-selective color harmonization method empowered by the SAM to refine and enhance these edges. We propose a new color image evaluation metric, the Chromatic Number Ratio (CNR), to quantify the richness of color components. We compare our proposed model with state-of-the-art models using five different datasets: ADE, Celeba, COCO, Oxford 102 Flower, and ImageNet, in both qualitative and quantitative approaches. The experimental results show that our proposed model outstrips other models in visualization and CNR measurement criteria while maintaining satisfactory performance in regression (MSE, PSNR), similarity (SSIM, LPIPS, UIQI), and generative criteria (FID).

연구 동기 및 목표

• 색 예측을 가중된 분류 태스크로 다루어 자동 색상화에서의 색 불균형 문제를 해결한다.
• 데이터 기반으로 색 클래스의 세분화 수준과 클래스 가중치를 최적화하여 소수 색상을 보존한다.
• 객체 경계를 다듬기 위해 SAM 기반 객체 선택적 색상 조화를 통합한다.
• 생성된 이미지의 색상 다양성을 정량화하기 위한 새로운 Chromatic Number Ratio(CNR) 지표를 도입한다.
• 여러 데이터셋에서 최신 색상화 방법들에 비해 우수한 성능을 시연한다.

제안 방법

• 연속적인 a* 및 b* 색 채널을 그리드 기반 이산 구획화 공식으로 이산 색 클래스으로 변환한다.
• DenseNet 인코더와 CNN 디코더를 갖춘 인코더-디코더 구조를 사용하여 HxW x C 색상 클래스 분포를 예측한다.
• 크로스 엔트로피 손실과 배치 단위의 데이터 기반 클래스 가중치 조합으로 주요/소수 색 클래스를 균형 있게 학습한다.
• 희귀 색상의 과대표현 또는 과소대표현을 방지하기 위한 트레이드오프 기반 클래스 가중치 조정(Loss_CBCE)을 도입한다.
• 세그먼트 내 색 모드를 맞춤으로 정렬하여 가장자리를 다듬기 위해 SAM 기반 객체 선택적 색상 조화를 통합한다.
• 생성된 이미지의 색상 클래스 다양성을 정량화하기 위해 Chromatic Number Ratio(CNR)를 제안한다.

실험 결과

연구 질문

• RQ1 특징(색상) 불균형을 완화하고 소수 색상을 보존하기 위해 색상화를 어떻게 재구성할 수 있는가?
• RQ2 강건한 색상 예측을 위해 색 클래스 수준과 클래스 가중치를 최적화할 수 있는 데이터 기반 방법은 무엇인가?
• RQ3 객체 경계에서 색상 조화를 개선하기 위해 SAM 기반 에지 정제가 가능한가?
• RQ4 제안된 Chromatic Number Ratio(CNR)가 색상화된 출력의 색상 다양성을 효과적으로 측정하는가?
• RQ5 다양한 데이터셋에서 CCC의 성능은 최첨단 방법들과 어떻게 비교되는가?

주요 결과

• CCC는 ADE, CelebA, COCO, Oxford 102 Flower, ImageNet 데이터셋 전반에서 CNR 측면에서 베이스라인을 능가한다.
• 215색 클래스 구성이 소수 색상을 포착하면서도 전체 색 정확도를 유지한다.
• 배치 단위 클래스 가중치 부여와 Loss_CBCE 공식은 소수 색상의 채도 향상을 가져오고 탈색/과다 채도 편향을 줄인다.
• SAM 기반 객체 선택적 색상 조화가 에지를 선명하게 하고 경계에서의 색상 번짐을 줄인다.
• 정량적 결과는 표준 지표(MSE, PSNR, SSIM, LPIPS, UIQI, FID)에서 경쟁력 있거나 우수한 성능을 보여주며 더 높은 CNR을 달성한다; CCC는 특히 Oxford Flowers 데이터셋에서 두각을 나타낸다.
• 제안된 CNR 지표는 전통적인 회귀/유사성 지표를 넘어 색상 다양성의 총합적 척도를 제공한다.