[論文レビュー] Planckian Jitter: countering the color-crippling effects of color jitter on self-supervised training

Simone Zini, Gomez-Villa, Alex+4 more|arXiv (Cornell University)|Feb 16, 2022

Image Enhancement Techniques被引用数 7

ひとこと要約

この論文では、プランクの法則を用いて現実的な照照明変動をシミュレートする物理ベースの色データ拡張法であるPlanckian Jitterを提案する。これにより自己教師あり学習における色表現が向上する。標準的な色ジャイタと組み合わせて特徴の連結を施すことで、複数の下流ビジョンタスクで5%以上の一貫した性能向上が得られ、特に色に敏感なデータセットにおいて顕著である。

ABSTRACT

Several recent works on self-supervised learning are trained by mapping different augmentations of the same image to the same feature representation. The data augmentations used are of crucial importance to the quality of learned feature representations. In this paper, we analyze how the color jitter traditionally used in data augmentation negatively impacts the quality of the color features in learned feature representations. To address this problem, we propose a more realistic, physics-based color data augmentation - which we call Planckian Jitter - that creates realistic variations in chromaticity and produces a model robust to illumination changes that can be commonly observed in real life, while maintaining the ability to discriminate image content based on color information. Experiments confirm that such a representation is complementary to the representations learned with the currently-used color jitter augmentation and that a simple concatenation leads to significant performance gains on a wide range of downstream datasets. In addition, we present a color sensitivity analysis that documents the impact of different training methods on model neurons and shows that the performance of the learned features is robust with respect to illuminant variations.

研究の動機と目的

• 従来の色ジャイタが自己教師あり学習において色表現の品質を低下させることに対処すること。
• 黙示体放射のようないくつかの現実世界の照照明変動を模倣する物理的根拠に基づいた色拡張法を開発すること。
• 色が重要な判別要因となるタスク（例えば、細分化画像認識）における性能を向上させること。
• Planckian Jitterと標準色ジャイタが補完的な表現を生成することを示し、特徴統合によって性能向上を実現すること。
• Planckian Jitterが複数の最先端の自己教師あり学習フレームワークに一般化可能であることを検証すること。

提案手法

• Planckian Jitterは、黙示体放射の法則に従う色変換を適用し、自然な照照明変化を模倣する色度シフトを生成する。
• 入力RGB値をプランクの法則に従うプランクのlocusに沿って新しい色度にマッピングし、物理的に妥当な色の変化を保ちつつ、不自然な色のシフトを回避する。
• 実用的な範囲（例：2500K–6500K）内で照照明温度を確率的プロセスでサンプリングし、さまざまな照明条件をシミュレートする。
• 対照的自己教師あり学習フレームワークとの互換性を保ちながら、データ拡張パイプラインにおける標準色ジャイタの置き換えに用いる。
• Planckian Jitterで訓練されたモデルの特徴と、標準色ジャイタで訓練されたモデルの特徴を連結し、統合されたより豊かな表現を形成する。
• 連結された表現を下流分類タスクで評価し、性能向上を測定する。

実験結果

リサーチクエスチョン

• RQ1 標準色ジャイタをPlanckian Jitterに置き換えることで、自己教師ありモデルにおける色表現の質が向上するか？
• RQ2 色が重要な判別的手がかりであるタスクにおいて、Planckian Jitterが性能向上をもたらすか？
• RQ3 Planckian Jitterで学習された表現と標準色ジャイタで学習された表現の、照照明変動に対するロバストネスの観点からの比較は？
• RQ4 両方の拡張法からの特徴を組み合わせることで、全体のモデル性能がどの程度向上するか？
• RQ5 Planckian Jitterは、さまざまな自己教師あり学習アーキテクチャーや学習目的に一般化可能か？

主な発見

• CUB-200データセットでは、Planckian Jitterと標準色ジャイタの組み合わせ（LSC [CJ,PJ]）がトップ1正答率60.70%を達成し、標準色ジャイタ単体（54.52%）よりも6.18%向上した。
• T1K+データセットでは、LSC [CJ,PJ]設定が80.49%の正答率を達成し、標準色ジャイタ（71.44%）よりも9.05%向上した。
• Flowers-102データセットでは、LSC [CJ,PJ]設定が93.99%の正答率を達成し、標準色ジャイタ（93.16%）よりも0.83%向上した。
• CIFAR-100では、LSC [CJ,PJ]設定がVicRegで68.95%の正答率を達成し、標準色ジャイタ（65.23%）よりも3.72%向上した。
• 同じデータセットで、LSC [CJ,PJ]設定はPlanckian Jitter単体（SimSiamで47.31%）よりも11.21%向上した（59.93% vs. 47.31%）。
• 色感受性分析により、Planckian Jitterで訓練されたモデルは照照明変化に対してロバストでありつつ、表面反射率の情報を保持していることが確認された。