[論文レビュー] CCC: Color Classified Colorization

Mrityunjoy Gain, Avi Deb Raha+1 more|arXiv (Cornell University)|Mar 3, 2024

Pigment Synthesis and Properties被引用数 6

ひとこと要約

この論文は、215色クラスの重み付けカラー分類タスクとして画像着色を再定義し、SAMベースのエッジ認識カラー調和を導入し、Chromatic Number Ratio (CNR) 指標を提案する; 複数のデータセットでベースラインを上回る。

ABSTRACT

Automatic colorization of gray images with objects of different colors and sizes is challenging due to inter- and intra-object color variation and the small area of the main objects due to extensive backgrounds. The learning process often favors dominant features, resulting in a biased model. In this paper, we formulate the colorization problem into a multinomial classification problem and then apply a weighted function to classes. We propose a set of formulas to transform color values into color classes and vice versa. Class optimization and balancing feature distribution are the keys for good performance. Observing class appearance on various extremely large-scale real-time images in practice, we propose 215 color classes for our colorization task. During training, we propose a class-weighted function based on true class appearance in each batch to ensure proper color saturation of individual objects. We establish a trade-off between major and minor classes to provide orthodox class prediction by eliminating major classes' dominance over minor classes. As we apply regularization to enhance the stability of the minor class, occasional minor noise may appear at the object's edges. We propose a novel object-selective color harmonization method empowered by the SAM to refine and enhance these edges. We propose a new color image evaluation metric, the Chromatic Number Ratio (CNR), to quantify the richness of color components. We compare our proposed model with state-of-the-art models using five different datasets: ADE, Celeba, COCO, Oxford 102 Flower, and ImageNet, in both qualitative and quantitative approaches. The experimental results show that our proposed model outstrips other models in visualization and CNR measurement criteria while maintaining satisfactory performance in regression (MSE, PSNR), similarity (SSIM, LPIPS, UIQI), and generative criteria (FID).

研究の動機と目的

• 自動着色における色の不均衡問題に対処するため、色予測を重み付け分類タスクとして扱う。
• データ駆動的な方法で色クラスの粒度とクラス重みを最適化し、マイノリティカラーを保持する。
• SAMベースのオブジェクト選択的カラー調和を統合してオブジェクトのエッジを滑らかに整えるために統合する。
• 生成画像の色の豊かさを定量化する新しいChromatic Number Ratio (CNR) 指標を導入する。
• 複数のデータセットで最先端のカラー化手法よりも優れた性能を示す。

提案手法

• 連続的な a* および b* 色成分を格子ベースのビニング式を用いて離散的な色クラスに変換する。
• DenseNetエンコーダとCNNデコーダを用いたエンコーダ-デコーダアーキテクチャで、HxW x C の色クラス分布を予測する。
• クロスエントロピー損失と、主要色とマイナー色をバランスさせるデータ駆動的なバッチ単位のクラス重み付け方式を採用する。
• Rare colors の過剰表現や過少表現を防ぐトレードオフベースのクラス重み調整（Loss_CBCE）を導入する。
• セグメント内の色モードを整列させてエッジを洗練させるためにSAM提供のオブジェクト選択的カラー調和を組み込む。
• 生成画像の色クラス多様性を定量化するために Chromatic Number Ratio (CNR) を提案する。

実験結果

リサーチクエスチョン

• RQ1 カラー化をどのように再定義して特徴量（色）の不均衡を軽減し、マイノリティカラーを保持できるか？
• RQ2 ロバストな色予測のために、色クラスレベルとクラス重みをデータ駆動で最適化する方法は何か？
• RQ3 SAMベースのエッジ精錬はオブジェクト境界でのカラー調和を改善できるか？
• RQ4 提案された Chromatic Number Ratio (CNR) はカラー化出力の色の多様性を効果的に測定するか？
• RQ5 CCC は diverse datasetsで最先端手法に対してどのような性能を示すか？

主な発見

• CCC はデータセット（ADE、Celeba、COCO、Oxford 102 Flower、ImageNet）において Chromatic Number Ratio (CNR) でベースラインを上回る。
• 215色クラスの設定は、全体的な色 fidelity を保ちつつマイノリティカラーを捉える。
• Batch-wise クラス重み付けと Loss_CBCE の定式化により、マイノリティクラスの彩度を改善し、脱色/過剰飽和の bias を減少させる。
• SAMを用いたオブジェクト選択的カラー調和はエッジをシャープにし、境界でのカラーブリーディングを減らす。
• 定量的な結果は、標準指標（MSE, PSNR, SSIM, LPIPS, UIQI, FID）で競争力があるまたは優れており、CNR が高い。特に Oxford Flowers データセットで CCC は卓越している。
• 提案された CNR 指標は従来の回帰/類似性指標を超える色の豊かさの総合的な測定を提供する。