[論文レビュー] CCC++: Optimized Color Classified Colorization with Segment Anything Model (SAM) Empowered Object Selective Color Harmonization

Mrityunjoy Gain, Avi Deb Raha+1 more|arXiv (Cornell University)|Mar 18, 2024

Color perception and design被引用数 7

ひとこと要約

CCC++ はカラー化を特徴バランスを持つカラー分類問題として再定義し、SAMを活用したオブジェクト選択的カラー調和を導入して、彩度とエッジ品質の改善を達成します。

ABSTRACT

In this paper, we formulate the colorization problem into a multinomial classification problem and then apply a weighted function to classes. We propose a set of formulas to transform color values into color classes and vice versa. To optimize the classes, we experiment with different bin sizes for color class transformation. Observing class appearance, standard deviation, and model parameters on various extremely large-scale real-time images in practice we propose 532 color classes for our classification task. During training, we propose a class-weighted function based on true class appearance in each batch to ensure proper saturation of individual objects. We adjust the weights of the major classes, which are more frequently observed, by lowering them, while escalating the weights of the minor classes, which are less commonly observed. In our class re-weight formula, we propose a hyper-parameter for finding the optimal trade-off between the major and minor appeared classes. As we apply regularization to enhance the stability of the minor class, occasional minor noise may appear at the object's edges. We propose a novel object-selective color harmonization method empowered by the Segment Anything Model (SAM) to refine and enhance these edges. We propose two new color image evaluation metrics, the Color Class Activation Ratio (CCAR), and the True Activation Ratio (TAR), to quantify the richness of color components. We compare our proposed model with state-of-the-art models using six different dataset: Place, ADE, Celeba, COCO, Oxford 102 Flower, and ImageNet, in qualitative and quantitative approaches. The experimental results show that our proposed model outstrips other models in visualization, CNR and in our proposed CCAR and TAR measurement criteria while maintaining satisfactory performance in regression (MSE, PSNR), similarity (SSIM, LPIPS, UIUI), and generative criteria (FID).

研究の動機と目的

• 支配的な背景特徴のため前景オブジェクトが過小表現される自動着色における特徴の不均衡に対処する。
• 連続的なカラー値を離散的なカラークラスへ変換して、バランスの取れた学習とより豊かなカラー分布を実現する。
• 主要クラスとマイナーなカラークラスのバランスを取るためにクラス重み付き損失とハイパーパラメータ調整を導入する。
• オブジェクトのエッジとカラー境界を洗練させるSAMベースのオブジェクト選択的カラー調和モジュールを開発する。
• カラーリッチネスと活性化精度を定量化する新しいカラー画像評価指標（CCARとTAR）を提案する。

提案手法

• 二重チャネル a*b* カラ成分を単一チャネルの532離散カラークラスのセットに変換し、最適な粒度を決定するためにビンサイズを実験する。
• 各バッチにおける真のクラス出現に基づく重み付きクロスエントロピー損失を使用して、主要カラークラスとマイナーなカラークラスのバランスを取る。
• データ駆動型でハイパーパラメータを調整したクラス再重み付けスキームを適用し、頻繁なクラスの支配を防ぎつつマイノリティクラスを保護する。
• Segment Anything Model (SAM) を活用したオブジェクト選択的カラー調和でエッジとカラーの一貫性を洗練させる。
• Color Class Activation Ratio (CCAR) と True Activation Ratio (TAR) を新しいカラー画像評価指標として導入する。
• Place, ADE, CelebA, COCO, Oxford 102 Flower, ImageNet の6データセットで評価し、複数の回帰、類似度、および生成指標で比較する。

実験結果

リサーチクエスチョン

• RQ1 カラー値を離散的なカラークラスに変換することで、特徴の不均衡を緩和し、小さなオブジェクトの彩度を向上させることができるか？
• RQ2 バッチを意識した重み付けを持つクラス重み付き損失が、着色画像のカラー分布とエッジ品質にどのような影響を与えるか？
• RQ3 SAMベースのオブジェクト選択的カラー調和は、オブジェクト境界でのエッジの洗練とカラー忠実度を高めるか？
• RQ4 CCARとTARは、着色出力におけるカラーの豊かさと活性化を評価する意味のある指標を提供するか？

主な発見

• カラー化タスクに最適であると識別された532色クラス。
• バッチ主導のクラス重み付けスキームが主要クラスとマイナーなカラークラスをバランスさせ、脱色化と過飽和の偏りを減らす。
• SAMベースのオブジェクト選択的カラー調和はオブジェクトのエッジを洗練し、カラー境界を改善する。
• CCC++ は視覚化品質および CCAR/TAR 指標で最先端のベースラインを上回りつつ、回帰（MSE, PSNR）、類似度（SSIM, LPIPS, UIQI）、生成（FID）スコアも競争力を維持している。
• このアプローチは6つの大規模データセット（Place, ADE, CelebA, COCO, Oxford 102 Flower, ImageNet）で検証された。
• カラー化出力のカラーリッチネスと活性化精度を定量化する新規指標としてCCARとTARを導入。