[論文レビュー] CroP: Color Constancy Benchmark Dataset Generator

Nikola Banić, Karlo Koščević+2 more|arXiv (Cornell University)|Mar 29, 2019

Color Science and Applications参考文献 34被引用数 4

ひとこと要約

本稿では、制御されたプロジェクタ照明下での印刷写真のリアルなレッド画像を合成することで、カラーモノクロームのためのデータセット生成ツールCroPを提案する。多様で正確にラベル付けされた照明をシミュレートすることにより、実世界のデータセットにうまく一般化する深層学習モデルのトレーニングを可能にし、Cube+のようなベンチマークで高い性能を達成する。

ABSTRACT

Implementing color constancy as a pre-processing step in contemporary digital cameras is of significant importance as it removes the influence of scene illumination on object colors. Several benchmark color constancy datasets have been created for the purpose of developing and testing new color constancy methods. However, they all have numerous drawbacks including a small number of images, erroneously extracted ground-truth illuminations, long histories of misuses, violations of their stated assumptions, etc. To overcome such and similar problems, in this paper a color constancy benchmark dataset generator is proposed. For a given camera sensor it enables generation of any number of realistic raw images taken in a subset of the real world, namely images of printed photographs. Datasets with such images share many positive features with other existing real-world datasets, while some of the negative features are completely eliminated. The generated images can be successfully used to train methods that afterward achieve high accuracy on real-world datasets. This opens the way for creating large enough datasets for advanced deep learning techniques. Experimental results are presented and discussed. The source code is available at http://www.fer.unizg.hr/ipg/resources/color_constancy/.

研究の動機と目的

• 既存のカラーモノクロームベンチマークデータセットの限界、すなわちサイズが小さく、真値照明にノイズや誤りがあること、および前提となる仮定に違反していることに対処する。
• 照明推定のための高度な深層学習手法の開発を妨げる、実世界のトレーニングデータの不足を克服する。
• スケーラブルで制御可能かつ現実的であるが、実世界の画像の主要な統計的特性を保持するとともに、一般的なデータセットの欠陥を排除するデータセット生成パイプラインを構築する。
• CroPで生成された人工データでトレーニングされたモデルが、実世界のベンチマーク（例：Cube+）で強力な性能を発揮することを実証し、合成データの現実性と有用性を検証する。

提案手法

• CroPジェネレータは、既知のカメラセンサーモデルを用いて、プロジェクタ照明下での印刷sRGBカラーチャートのレッド画像キャプチャをシミュレートする。
• キヤノンEOS 6D Mk IIセンサのスペクトル応答とプロジェクタランプスペクトルを用い、標準的なカラーキャプチャモデルに従って物理的に妥当な画像形成を計算する。
• 真値照明はプロジェクタランプのスペクトルパワー分布によって定義され、正確で一貫性のあるラベルが保証される。
• ジェネレータは、照明源と印刷物の任意の組み合わせをサポートしており、制御されたばらつきを伴う大規模で多様なデータセットの作成が可能である。
• 画像形成は標準的な線形イメージングモデルに従う：$ f_c( extbf{x}) = igint_{ ext{ω}} I( extbf{x}, ext{λ}) R( extbf{x}, ext{λ}) ho_c( ext{λ}) d ext{λ} $、シーン全体に均一な照明を仮定する。
• キャリブレーションオブジェクト、ブラックレベルアーチファクト、クリッピングピクセルを回避することで、トレーニングおよび評価に適したクリアで使用可能なデータを確保する。

実験結果

リサーチクエスチョン

• RQ1 合成データセットジェネレータは、カラーモノクロームの文脈において、実世界の画像と統計的に類似した性質を持つ画像を生成できるか？
• RQ2 CroPで生成されたデータでトレーニングされたモデルは、実世界のベンチマーク（例：Cube+）にどの程度一般化できるか？
• RQ3 CroPからの合成データの使用は、真値照明が誤りまたはノイズを含む既存のデータセットの一般的な問題を緩和するか？
• RQ4 CroPでトレーニングされた学習ベースのカラーモノクローム推定手法の性能は、実世界データでトレーニングされたものと比べてどうか？
• RQ5 CroPジェネレータは、カラーモノクローム分野における高度な深層学習手法に必要な大規模なデータ生成をサポートできるか？

主な発見

• CroPで生成されたデータでトレーニングされたモデルは、実世界のCube+ベンチマークで競争力ある性能を示し、Color Beaverでは中央値の角度誤差が0.74、Smart Color Catでは1.43を記録した。
• CroPでトレーニングしたモデルと実世界データでトレーニングしたモデルとの性能差は比較的小さく、特にColor Beaverのような手法では、強い一般化能力が示された。
• CroPデータでトレーニングされた回帰木は中央値の角度誤差1.66を示し、単純なモデルでも合成データの現実性の恩恵を受けることが示された。
• 生成された画像は実世界の画像と主要な統計的特性を共有しており、学習ベース手法の有効なトレーニングを可能にした。
• 生成プロセスに高品質なカメラ（キヤノンEOS 6D Mk II）を用いることで、ノイズが低減され、画像の現実性が向上し、モデルの一般化性能が向上した。
• CroPは、正確で制御可能な真値照明を備えた、任意規模のデータセット生成を可能にし、固定で小規模な画像数に制限される既存のデータセットの限界を克服した。