[논문 리뷰] Color Constancy by Learning to Predict Chromaticity from Luminance

Ayan Chakrabarti|arXiv (Cornell University)|2015. 06. 06.

Color Science and Applications참고 문헌 21인용 수 21

한 줄 요약

이 논문은 자연 이미지의 경험적 통계와 엔드 투 엔드 딥 러닝을 사용하여 빛의 조명 조건을 추정하기 위해 각 픽셀의 채도 조건부 가능도를 빛의 세기 값으로 학습하는 새로운 색상 일관성 방법을 제안한다. 이 방법은 공간적 또는 의미적 맥락 없이 픽셀 수준의 채도 선호도를 모델링함으로써, 특히 과도치 이미지에서 오차를 줄이는 데 있어 최신 기술을 뛰어넘는 성능을 보인다.

ABSTRACT

Color constancy is the recovery of true surface color from observed color, and requires estimating the chromaticity of scene illumination to correct for the bias it induces. In this paper, we show that the per-pixel color statistics of natural scenes---without any spatial or semantic context---can by themselves be a powerful cue for color constancy. Specifically, we describe an illuminant estimation method that is built around a "classifier" for identifying the true chromaticity of a pixel given its luminance (absolute brightness across color channels). During inference, each pixel's observed color restricts its true chromaticity to those values that can be explained by one of a candidate set of illuminants, and applying the classifier over these values yields a distribution over the corresponding illuminants. A global estimate for the scene illuminant is computed through a simple aggregation of these distributions across all pixels. We begin by simply defining the luminance-to-chromaticity classifier by computing empirical histograms over discretized chromaticity and luminance values from a training set of natural images. These histograms reflect a preference for hues corresponding to smooth reflectance functions, and for achromatic colors in brighter pixels. Despite its simplicity, the resulting estimation algorithm outperforms current state-of-the-art color constancy methods. Next, we propose a method to learn the luminance-to-chromaticity classifier "end-to-end". Using stochastic gradient descent, we set chromaticity-luminance likelihoods to minimize errors in the final scene illuminant estimates on a training set. This leads to further improvements in accuracy, most significantly in the tail of the error distribution.

연구 동기 및 목표

• 공간적 또는 의미적 맥락 없이 각 픽셀의 빛의 세기와 채도 통계 자료만을 활용하는 색상 일관성 방법을 개발하는 것.
• 관측된 빛의 세기 조건부 진짜 채도의 조건부 가능도를 모델링하여 조명 추정 정확도를 향상시키는 것.
• 최종 조명 추정 오차를 최소화하기 위해 빛의 세기에서 채도로의 분류기의 엔드 투 엔드 학습을 탐색하는 것.
• 특히 채도가 모호하고 소수의 물질으로 구성된 이미지에서 어려운 경우의 강건성을 향상시키는 것.
• 추론 비용을 증가시키지 않고도 오차 분포의 尾부, 특히 75번째 및 90번째 백분위수에서의 오차를 줄이는 것.

제안 방법

• 이 방법은 관측된 빛의 세기 y에 대해 진짜 채도 ŷ의 가능도를 나타내는 이산 조건부 가능도 함수 L[ŷ, y]를 정의한다. 이 함수는 자연 이미지 훈련 세트의 경험적 히스토그램에서 학습된다.
• 추론 과정에서 각 픽셀의 관측된 색상은 후보 조명 조건에 의해 설명 가능한 진짜 채도의 범위를 제한하며, 분류기는 이러한 가능도를 할당하여 각 픽셀에 대해 조명에 대한 분포를 형성한다.
• 전체 이미지의 모든 픽셀에 걸쳐 이러한 각 픽셀의 분포를 집계하여 전역 조명 추정치를 계산한다.
• 경험적 분류기는 먼저 자연 이미지의 이산화된 빛의 세기 및 채도 값에 대한 히스토그램 카운트를 사용하여 구성되며, 밝은 픽셀에서 매끄러운 반사율과 무채도를 선호하는 자연스러운 경향을 반영한다.
• 엔드 투 엔드 학습 절차는 확률적 경사 하강법을 사용하여 훈련 세트에서 전역 조명 추정 오차를 최소화하도록 가능도 함수 L[ŷ, y]를 최적화하며, 일반화를 위해 드롭아웃과 유사한 서브샘플링 전략을 사용한다.
• 최적화 목표는 최종 전역 조명 추정치의 평균 오차에 기반하며, 집계 및 추정 파이프라인을 통해 역전파를 통해 기울기를 계산한다.

실험 결과

연구 질문

• RQ1 각 픽셀의 색상 통계—특히 빛의 세기에서 채도로의 관계—는 공간적 또는 의미적 맥락 없이도 색상 일관성에 강력한 독립적 단서로 기능할 수 있는가?
• RQ2 최종 조명 추정 오차를 최소화하기 위해 경사 하강법을 사용하여 빛의 세기에서 채도로의 가능도 함수를 엔드 투 엔드로 학습하는 것이 순수하게 경험적인 방법보다 성능 향상에 기여하는가?
• RQ3 엔드 투 엔드 학습이 채도가 모호한 어려운 이미지에서 오차 분포의 尾부에서 오차를 얼마나 줄이는가?
• RQ4 간단한 비모수적 히스토그램 기반 분류기가 고차원 특징이나 의미적 추론을 사용하는 복잡한 최신 기술 방법을 능가할 수 있는가?
• RQ5 학습된 가능도 함수는 경험적 분포와 어떻게 다를까? 이는 모델이 局소 채도 변화에 얼마나 민감한지를 어떻게 암시하는가?

주요 결과

• 경험적 히스토그램 기반 분류기만으로도 현재 최신 기술 색상 일관성 방법보다 평균 조명 추정 오차 측면에서 뛰어난 성능을 보였다.
• 빛의 세기에서 채도로의 가능도 함수를 엔드 투 엔드로 학습함으로써 정확도가 더욱 향상되었으며, 특히 75번째 및 90번째 백분위수에서 오차가 줄어들어 어려운 케이스에서 더 뛰어난 강건성을 보였다.
• 엔드 투 엔드로 학습된 모델은 단지 삼중 교차 검증을 사용하여 10배 교차 검증을 사용한 경험적 방법과 유사한 성능을 달성했으며, 이는 더 적은 데이터로도 강력한 일반화 능력을 가짐을 시사한다.
• 학습된 가능도 함수는 경험적 버전보다 더 날카운 전이를 보이며, 이는 국소 채도의 불확실성에 적응하고 더 정확한 이웃으로 믿음을 이동시킴을 나타낸다.
• 각 픽셀의 믿음 분산 지도는 엔드 투 엔드 학습 후 더 높은 주파수의 변동을 보이며, 이는 국소 색상 변화에 더 민감하고 더 소수의 정보성 픽셀의 영향력이 더 크게 진화함을 나타낸다.
• 예시 이미지에서 엔드 투 엔드 방법은 전역 추정 오차를 개선하고, 특히 시각적으로 균일한 영역에서 정확한 개별 추정치를 생성하는 픽셀 수를 늘렸다.