[論文レビュー] Unsupervised Learning for Color Constancy

Nikola Banić, Karlo Koščević+1 more|arXiv (Cornell University)|Dec 1, 2017

Image Enhancement Techniques被引用数 5

ひとこと要約

この論文は、非キャリブレーション訓練画像から近似された真値の照度をクラスタリングすることで照度を推定する、教師あり学習に基づく色再現手法を提案する。手動キャリブレーションを回避しつつ最先端の精度を達成する。この手法は高速でハードウェアにやさしく、センサに依存しないパラメータを学習することでカメラ間の転送を可能にし、統計的手法および多数の教師あり学習ベース手法を上回る性能を示す。

ABSTRACT

Most digital camera pipelines use color constancy methods to reduce the influence of illumination and camera sensor on the colors of scene objects. The highest accuracy of color correction is obtained with learning-based color constancy methods, but they require a significant amount of calibrated training images with known ground-truth illumination. Such calibration is time consuming, preferably done for each sensor individually, and therefore a major bottleneck in acquiring high color constancy accuracy. Statistics-based methods do not require calibrated training images, but they are less accurate. In this paper an unsupervised learning-based method is proposed that learns its parameter values after approximating the unknown ground-truth illumination of the training images, thus avoiding calibration. In terms of accuracy the proposed method outperforms all statistics-based and many learning-based methods. An extension of the method is also proposed, which learns the needed parameters from non-calibrated images taken with one sensor and which can then be successfully applied to images taken with another sensor. This effectively enables inter-camera unsupervised learning for color constancy. Additionally, a new high quality color constancy benchmark dataset with 1707 calibrated images is created, used for testing, and made publicly available. The results are presented and discussed. The source code and the dataset are available at http://www.fer.unizg.hr/ipg/resources/color_constancy/.

研究の動機と目的

• 教師あり学習ベースの色再現における主なボトル neck である手動キャリブレーションの問題を解決すること。これは時間のかかる作業であり、センサに依存する。
• 真値の照度が不明な非キャリブレーション画像から学習する教師なし学習手法を開発すること。
• キャリブレーション済みデータの再トレーニングなしに、学習済みパラメータを異なるカメラセンサ間で転送可能にすること。
• 色再現評価のための高品質で公開可能なベンチマークデータセットの作成。

提案手法

• 各訓練画像の真値照度をグレイワールド法とホワイトパッチ法の組み合わせにより近似する。
• 近似された照度にk-meansを適用し、支配的となる照度方向を特定する。
• クラスタ中心を新しいテスト画像における照度推定の投票候補として使用する。
• 複数の候補から一貫性のある照度推定を選択するために、トリミングを伴う投票機構を適用する。
• センサゲイン正規化を用いて、異なるカメラセンサ間での学習済みパラメータの転送を可能にする。
• 画像画素の統計的性質を活用して、真値ラベルが不要な状態で照度を推定する。

実験結果

リサーチクエスチョン

• RQ1 非キャリブレーション訓練画像を用いた教師なし学習が、キャリブレーション済み画像を必要とせずに高い色再現精度を達成できるか？
• RQ2 あるセンサで学習した手法が、再トレーニングなしに別のセンサに効果的に適用可能か？
• RQ3 非キャリブレーション画像からの近似照度のクラスタリングが、従来の統計的手法を上回る性能を示せるか？
• RQ4 提案手法は、最先端の教師あり学習ベースおよび統計的手法と比較して、精度と効率の両面で優れているか？

主な発見

• 提案手法は、標準ベンチマークにおいて、すべての統計的手法および多数の教師あり学習ベース手法を精度面で上回った。
• 訓練段階で真値照度ラベルを一切必要としないため、時間のかかるキャリブレーションの必要がなく、効率的である。
• カメラ間転送が可能である。あるセンサで学習したパラメータは、センサゲイン正規化を施した後、別のセンサの画像に成功裏に適用可能である。
• 計算効率が高く、テスト時のコストはグレイワールド法やホワイトパッチ法といった高速な統計的手法と同等である。
• 誤ったまたは不正確な真値データに対しても頑健である。これは、このようなラベルに依存していないためである。
• 1707枚のキャリブレーション済み線形画像からなる新規ベンチマークデータセット「Cube+」を新たに作成し、今後の研究のために公開した。