[論文レビュー] CLCC: Contrastive Learning for Color Constancy

Yi‐Chen Lo, Chia-Che Chang+5 more|arXiv (Cornell University)|Jun 9, 2021

Color Science and Applications参考文献 66被引用数 5

ひとこと要約

CLCCは、独自のラフドメイン色拡張を用いて照照明依存の特徴を構築することで、完全に教師ありの対照的学習フレームワークを提案し、ロバストネスと精度を向上させる。NUS-8では相対誤差を17.5%低減し、データが少ない領域では最大誤差を28.7%低減するが、モデルの複雑さは増さない。

ABSTRACT

In this paper, we present CLCC, a novel contrastive learning framework for color constancy. Contrastive learning has been applied for learning high-quality visual representations for image classification. One key aspect to yield useful representations for image classification is to design illuminant invariant augmentations. However, the illuminant invariant assumption conflicts with the nature of the color constancy task, which aims to estimate the illuminant given a raw image. Therefore, we construct effective contrastive pairs for learning better illuminant-dependent features via a novel raw-domain color augmentation. On the NUS-8 dataset, our method provides $17.5\%$ relative improvements over a strong baseline, reaching state-of-the-art performance without increasing model complexity. Furthermore, our method achieves competitive performance on the Gehler dataset with $3 imes$ fewer parameters compared to top-ranking deep learning methods. More importantly, we show that our model is more robust to different scenes under close proximity of illuminants, significantly reducing $28.7\%$ worst-case error in data-sparse regions.

研究の動機と目的

• シーンの内容に依存する特徴ではなく、照照明特徴に依存する深層色不変性モデルが学習する誤った相関関係を解消すること。
• 特に低照照明条件下において、データが少ない領域でのモデルのロバストネスを向上させること。
• 標準的な画像分類で用いられる拡張法の制限を克服し、色不変性に特化した対照的学習フレームワークを開発すること。
• 追加のデータを必要とせず、モデルの複雑さを増さずに最先端の性能を達成すること。

提案手法

• CLCCはラベル情報を用いて対照的ペアを構築し、同じシーンで異なる照照明下のペアをポジティブペアとし、同じ照照明下で異なるシーンのペアをネガティブペアとする。
• 色ドメインの知識に基づいた、ラフドメインでの新規な色拡張法を提案し、現実的で情報豊富な対照的サンプルを生成するとともに、シーン放射率との線形関係を維持する。
• 教師あり対照的学習の目的関数を完全に使用し、照照明およびシーンラベルを用いてポジティブペアを明示的に定義することで、特徴の識別能を向上させる。
• 強力なベースライン（SqueezeNet-FC4）を活用し、アーキテクチャの変更なしに対照的学習を適用することで、モデルの複雑さを維持する。
• 色拡張にはFull-Aug（カラーチェッカーによるフルトーンの色マッピング）とWB-Aug（ホワイトバランスに基づく中性色マッピング）を用い、両者とも照照明感度を維持するように設計されている。
• 同じシーンで異なる照照明下の表現を離し、異なるシーンで同じ照照明下の表現を近づけるように、対照的損失を用いてモデルを訓練する。

Figure 1: Our main idea of CLCC: The scene-invariant, illuminant-dependent representation of the same scene under different illuminants should be far from each other, while different scenes under the same illuminant should be close to each other.

実験結果

リサーチクエスチョン

• RQ1 照照明およびシーンラベルに基づいてポジティブペアとネガティブペアを明示的に構築することで、完全に教師ありの対照的学習が色不変性の特徴表現を向上させられるか？
• RQ2 ラフドメインでの新規な照照明に敏感な色拡張法が、線形放射率関係を破らずに、色不変性のための対照的学習を向上させられるか？
• RQ3 CLCCは、特にレアまたは極端な照照明に対して、データが少ない領域でのロバストネスを向上させられるか？
• RQ4 CLCCは、モデルの複雑さを増さず、補助データに依存せずして最先端の性能を達成できるか？

主な発見

• NUS-8データセットにおいて、CLCCは平均角誤差を17.5%相対的に改善し、SqueezeNet-FC4ベースラインの2.23から1.84に低下させた。
• Gehlerデータセットでは、トップ手法C4と0.1未満の性能差で競合し、パrameter数が3倍少ないにもかかわらず、優れた性能を示した。
• Gehlerデータセットにおいて、データが少ない領域（例：ピンククラスタに16点）では、最大誤差を28.7%低減し、3.24から2.31に低下させた。
• WB-Augを単独で使用した場合、平均角誤差が13.5%、最大誤差が16.5%低下し、フルカラーマッピングを伴わない状態でも有効性が示された。
• Full-Augを追加することで、WB-Augに比べて平均角誤差がさらに5.1%低下し、正確な色空間の合成による利点が明らかになった。
• 補助データを一切使用しない状況で、CLCCはFFCC-4チャネルをすべての指標で上回り、クラスタごとのテスト誤差の標準偏差が低く、より高いロバストネスを示した。

Figure 2: An overview of our CLCC: Besides the main color constancy task, we propose to incorporate contrastive learning to learn generalized and illuminant-dependent feature representations.