[論文レビュー] Color Constancy by Learning to Predict Chromaticity from Luminance

Ayan Chakrabarti|arXiv (Cornell University)|Jun 6, 2015

Color Science and Applications参考文献 21被引用数 21

ひとこと要約

本論文は、自然画像の訓練データセットにおける経験的統計とエンド・トゥ・エンドのディープラーニングを用いて、輝度を条件とした各画素ごとの色度の条件付き尤度を学習することで、シーンの照照明を推定する新しいカラーモノクローム法を提案する。この手法は、空間的または意味的文脈を用いないで、画素単位の色度の好みをモデル化することで、特に外れ値を含む困難な画像において、最先端の手法を上回る性能を発揮する。

ABSTRACT

Color constancy is the recovery of true surface color from observed color, and requires estimating the chromaticity of scene illumination to correct for the bias it induces. In this paper, we show that the per-pixel color statistics of natural scenes---without any spatial or semantic context---can by themselves be a powerful cue for color constancy. Specifically, we describe an illuminant estimation method that is built around a "classifier" for identifying the true chromaticity of a pixel given its luminance (absolute brightness across color channels). During inference, each pixel's observed color restricts its true chromaticity to those values that can be explained by one of a candidate set of illuminants, and applying the classifier over these values yields a distribution over the corresponding illuminants. A global estimate for the scene illuminant is computed through a simple aggregation of these distributions across all pixels. We begin by simply defining the luminance-to-chromaticity classifier by computing empirical histograms over discretized chromaticity and luminance values from a training set of natural images. These histograms reflect a preference for hues corresponding to smooth reflectance functions, and for achromatic colors in brighter pixels. Despite its simplicity, the resulting estimation algorithm outperforms current state-of-the-art color constancy methods. Next, we propose a method to learn the luminance-to-chromaticity classifier "end-to-end". Using stochastic gradient descent, we set chromaticity-luminance likelihoods to minimize errors in the final scene illuminant estimates on a training set. This leads to further improvements in accuracy, most significantly in the tail of the error distribution.

研究の動機と目的

• 空間的または意味的文脈を一切用いずに、各画素ごとの輝度と色度の統計のみを活用したカラーモノクローム法の開発。
• 観測された輝度を条件とした真の色度の条件付き尤度をモデル化することで、照照明推定の精度を向上させること。
• 最終的な照照明推定誤差を最小化するように、輝度から色度への分類器をエンド・トゥ・エンドで学習すること。
• 特に色度が曖昧で少数の素材で構成された画像など、困難な状況におけるロバスト性の向上。
• 推論コストを増加させることなく、誤差分布の末尾、特に75百分位数および90百分位数における誤差の低減。

提案手法

• 本手法は、自然画像の訓練データセットにおける経験的ヒストグラムを用いて学習された、観測された輝度 y を条件とした真の色度 ŷ の確率を表す離散的条件付き尤度関数 L[ŷ, y] を定義する。
• 推論時、各画素の観測色は、候補となる照照明によって説明可能な真の色度の範囲を制限し、分類器はこれらの候補に対して尤度を割り当て、各画素ごとに照照明に関する確率分布を形成する。
• 全画像の全画素におけるこれらの個々の画素の分布を集約することで、グローバルな照照明推定値を算出する。
• 経験的分類器は、まず輝度と色度の離散化された値におけるヒストグラムカウントを用いて構築され、明るい画素における滑らかな反射率および色消しの自然な好みを反映する。
• エンド・トゥ・エンドの学習手順では、確率的勾配降下法を用いて、訓練データセット上でのグローバルな照照明推定誤差を最小化するように、尤度関数 L[ŷ, y] を最適化する。一般化のため、ドロップアウトに類似したサブサンプリング戦略を採用する。
• 最適化の目的関数は、最終的なグローバルな照照明推定値の平均誤差に基づき、集約および推定パイプラインを介してバックプロパゲーションにより勾配を計算する。

実験結果

リサーチクエスチョン

• RQ1 各画素の色の統計、特に輝度から色度への関係が、空間的・意味的文脈を一切用いずに、カラーモノクロームの強力な独立的ヒントとして機能できるか？
• RQ2 最終的な照照明推定誤差を最小化する勾配降下法を用いて、輝度から色度への尤度関数をエンド・トゥ・エンドで学習することで、純粋に経験的メソッドに比べて性能が向上するか？
• RQ3 エンド・トゥ・エンド学習は、色度が曖昧な困難な画像において、誤差分布の末尾における誤差をどの程度低減するか？
• RQ4 単純で非パラメトリックなヒストグラムベースの分類器が、高次元特徴や意味的推論を用いる複雑な最先端手法を上回る可能性があるか？
• RQ5 学習された尤度関数は経験的分布とどのように異なり、これはモデルの局所的色度変動に対する感受性にどのような含意をもたらすか？

主な発見

• 経験的ヒストグラムベースの分類器のみでも、現在の最先端のカラーモノクローム手法よりも平均照照明推定誤差が小さい。
• 輝度から色度への尤度関数をエンド・トゥ・エンドで学習することで、さらに精度が向上し、特に75百分位数および90百分位数での誤差が低減され、困難なケースにおけるロバスト性の向上が示された。
• エンド・トゥ・エンドで学習されたモデルは、10分割交差検証を用いた経験的手法と同等の性能を、3分割交差検証のみで達成しており、少ないデータでも強い一般化性能を示している。
• 学習された尤度関数は、経験的バージョンよりも鋭く滑らかでない遷移を示しており、局所的な色度の曖昧さに適応し、より正確な近隣画素への信念のシフトを促進している。
• 個々の画素の信念分散マップでは、エンド・トゥ・エンド学習後、周波数の高い変動が見られ、局所的な色の変化に対する感受性が向上し、より少ない情報量の高い画素の影響力が強まっている。
• 例示画像では、エンド・トゥ・エンド手法がグローバル推定誤差を改善し、特に視覚的に均一な領域において、正確な個々の推定を生成する画素数を増加させた。