[논문 리뷰] CCC++: Optimized Color Classified Colorization with Segment Anything Model (SAM) Empowered Object Selective Color Harmonization

Mrityunjoy Gain, Avi Deb Raha외 1명|arXiv (Cornell University)|2024. 03. 18.

Color perception and design인용 수 7

한 줄 요약

CCC++는 색상화를 색상 분류 문제로 재구성하고 특징 균형을 도입하며 SAM 기반의 객체 선택적 색상 조화를 제시한다. 이는 채도와 경계 품질의 향상을 달성한다.

ABSTRACT

In this paper, we formulate the colorization problem into a multinomial classification problem and then apply a weighted function to classes. We propose a set of formulas to transform color values into color classes and vice versa. To optimize the classes, we experiment with different bin sizes for color class transformation. Observing class appearance, standard deviation, and model parameters on various extremely large-scale real-time images in practice we propose 532 color classes for our classification task. During training, we propose a class-weighted function based on true class appearance in each batch to ensure proper saturation of individual objects. We adjust the weights of the major classes, which are more frequently observed, by lowering them, while escalating the weights of the minor classes, which are less commonly observed. In our class re-weight formula, we propose a hyper-parameter for finding the optimal trade-off between the major and minor appeared classes. As we apply regularization to enhance the stability of the minor class, occasional minor noise may appear at the object's edges. We propose a novel object-selective color harmonization method empowered by the Segment Anything Model (SAM) to refine and enhance these edges. We propose two new color image evaluation metrics, the Color Class Activation Ratio (CCAR), and the True Activation Ratio (TAR), to quantify the richness of color components. We compare our proposed model with state-of-the-art models using six different dataset: Place, ADE, Celeba, COCO, Oxford 102 Flower, and ImageNet, in qualitative and quantitative approaches. The experimental results show that our proposed model outstrips other models in visualization, CNR and in our proposed CCAR and TAR measurement criteria while maintaining satisfactory performance in regression (MSE, PSNR), similarity (SSIM, LPIPS, UIUI), and generative criteria (FID).

연구 동기 및 목표

• 지배적인 배경 특징으로 인해 전경 객체가 과소 표현되는 자동 색상화에서 특징 불균형을 해소한다.
• 연속 색상 값을 균형 잡힌 학습과 더 풍부한 색상 분포를 가능하게 하도록 이산 색상 클래스로 변환한다.
• 주요 색상 클래스와 보조 색상 클래스를 균형 있게 다루기 위해 클래스 가중 손실과 하이퍼파라미터 튜닝을 도입한다.
• 객체 경계와 색상 경계를 정제하기 위해 SAM 기반의 객체 선택적 색상 조화를 위한 모듈을 개발한다.
• 색상 풍부도와 활성화 정확도를 정량화하기 위한 새로운 색상 이미지 평가 지표(CCAR와 TAR)를 제안한다.

제안 방법

• 이중 채널 a*b* 색상 성분을 532개의 이산 색상 클래스로 구성된 단일 채널 세트로 변환하고 최적의 세분성을 결정하기 위해 구간(bin) 크기를 실험한다.
• 배치마다 실제 클래스 등장에 기반한 가중 교차 엔트로피 손실을 사용하여 주요 색상 클래스와 보조 색상 클래스를 균형 있게 조정한다.
• 자주 등장하는 클래스의 우위를 방지하면서 소수 클래스는 보호하는 데이터 중심의 하이퍼파라미터 조정된 클래스 재가중 스킴을 적용한다.
• 객체 경계와 색상 일관성을 정제하기 위해 Segment Anything Model(SAM)을 활용한 객체 선택적 색상 조화를 사용한다.
• 새로운 색상 이미지 평가 지표로 Color Class Activation Ratio(CCAR)와 True Activation Ratio(TAR)을 도입한다.
• Place, ADE, CelebA, COCO, Oxford 102 Flower, ImageNet의 여섯 데이터셋에서 평가하고 다중 회귀, 유사도 및 생성 메트릭을 사용하여 비교한다.

실험 결과

연구 질문

• RQ1 색상 값을 이산 색상 클래스로 변환하는 것이 특징 불균형을 완화하고 작은 객체의 색상 채도를 개선할 수 있는가?
• RQ2 배치 인식 가중치를 가진 클래스 가중 손실이 색상 분포와 색상화된 이미지의 경계 품질에 어떠한 영향을 미치는가?
• RQ3 SAM 기반 객체 선택적 색상 조화가 객체 경계에서 경계 정제 및 색상 충실도를 향상시키는가?
• RQ4 CCAR와 TAR가 색상 풍부도와 활성화를 평가하는 의미 있는 지표를 제공하는가?

주요 결과

• 532개의 색상 클래스가 색상화 작업에 최적으로 식별되었다.
• 배치 기반 클래스 가중 스킴은 주요 및 보조 색상 클래스를 균형 있게 하여 탈채도(desaturation)와 과채도(over-saturation) 편향을 감소시킨다.
• SAM 기반 객체 선택적 색상 조화가 객체 경계를 정제하고 색상 경계를 향상시킨다.
• CCC++는 시각화 품질과 CCAR/TAR 지표에서 최첨단 기준치를 능가하면서도 회귀(MSE, PSNR), 유사도(SSIM, LPIPS, UIQI), 생성(FID) 지표에서도 경쟁력을 유지한다.
• 이 접근법은 Place, ADE, CelebA, COCO, Oxford 102 Flower, ImageNet의 여섯 개 대규모 데이터셋에서 검증되었다.
• 색상 풍부도와 색상화된 출력의 활성화 정확도를 정량화하기 위한 새로운 지표로 CCAR와 TAR의 도입이 제안되었다.