[논문 리뷰] CroP: Color Constancy Benchmark Dataset Generator

Nikola Banić, Karlo Koščević외 2명|arXiv (Cornell University)|2019. 03. 29.

Color Science and Applications참고 문헌 34인용 수 4

한 줄 요약

이 논문은 제어된 프로젝터 조명 하에서 인쇄된 사진의 현실적인 원시 이미지를 합성하는 색조 보정을 위한 데이터셋 생성기 CroP을 제안한다. 다양한 정확한 레이블이 부여된 조명을 시뮬레이션함으로써 CroP은 실제 데이터셋에 잘 일반화되는 딥러닝 모델을 훈련시킬 수 있게 하며, Cube+와 같은 벤치마크에서 높은 성능을 달성한다.

ABSTRACT

Implementing color constancy as a pre-processing step in contemporary digital cameras is of significant importance as it removes the influence of scene illumination on object colors. Several benchmark color constancy datasets have been created for the purpose of developing and testing new color constancy methods. However, they all have numerous drawbacks including a small number of images, erroneously extracted ground-truth illuminations, long histories of misuses, violations of their stated assumptions, etc. To overcome such and similar problems, in this paper a color constancy benchmark dataset generator is proposed. For a given camera sensor it enables generation of any number of realistic raw images taken in a subset of the real world, namely images of printed photographs. Datasets with such images share many positive features with other existing real-world datasets, while some of the negative features are completely eliminated. The generated images can be successfully used to train methods that afterward achieve high accuracy on real-world datasets. This opens the way for creating large enough datasets for advanced deep learning techniques. Experimental results are presented and discussed. The source code is available at http://www.fer.unizg.hr/ipg/resources/color_constancy/.

연구 동기 및 목표

• 기존 색조 보정 벤치마크 데이터셋의 한계를 해결하기 위해, 소규모 데이터, 노이즈가 있거나 잘못된 진짜 조명 레이블, 그리고 기본 가정 위반 문제를 해결한다.
• 조명 추정을 위한 고급 딥러닝 방법의 개발을 방해하는 실제 데이터의 부족 문제를 해결한다.
• 확장 가능하고 제어 가능하며 현실적인 데이터셋 생성 파이프라인을 구축하여 실제 이미지의 핵심 통계적 특성을 유지하면서도 일반적인 데이터셋 결함을 제거한다.
• CroP로 생성된 인위적 데이터셋으로 훈련된 모델이 실제 벤치마크(예: Cube+)에서 뛰어난 성능을 내는 것으로 입증되어, 합성 데이터의 현실성과 유용성을 검증한다.

제안 방법

• CroP 생성기는 알려진 카메라 센서 모델을 사용하여 프로젝터 조명 하에서 인쇄된 sRGB 색상 차트의 원시 이미지 촬영을 시뮬레이션한다.
• 캐논 EOS 6D 마크 II 센서의 스펙트럼 반응과 프로젝터 램프 스펙트럼을 활용하여 표준 색상 영상 모델을 통해 물리적으로 타당한 영상 형성 과정을 계산한다.
• 진짜 조명은 프로젝터 램프의 스펙트럼 강도 분포로 정의되어 정확하고 일관된 레이블을 보장한다.
• 생성기는 다양한 조명과 인쇄 조건의 임의 조합을 지원하여 제어 가능한 변동성을 가진 대규모이고 다양한 데이터셋을 생성할 수 있다.
• 영상 형성은 표준 선형 영상 모델을 따르며, $ f_c( extbf{x}) = igint_{ ext{ω}} I( extbf{x}, ext{λ}) R( extbf{x}, ext{λ}) \rho_c( ext{λ}) d ext{λ} $ 로 표현되며, 장면 전체에 균일한 조명을 가정한다.
• 캘리브레이션 오브젝트, 블랙 레벨 아티팩트, 클리핑된 픽셀을 피함으로써 훈련 및 평가에 사용 가능한 깔끔한 데이터를 보장한다.

실험 결과

연구 질문

• RQ1 합성 데이터셋 생성기가 색조 보정 맥락에서 실제 이미지의 통계적 특성과 유사한 이미지를 생성할 수 있는가?
• RQ2 CroP로 생성된 데이터로 훈련된 모델이 Cube+와 같은 실제 벤치마크로의 일반화 능력은 어느 정도인가?
• RQ3 CroP에서 생성된 합성 데이터의 사용이 기존 데이터셋에서 흔히 발생하는 문제, 예를 들어 잘못되거나 노이즈가 있는 진짜 조명 레이블 문제를 완화하는가?
• RQ4 CroP로 훈련된 기계학습 기반 색조 보정 방법의 성능은 실제 데이터셋으로 훈련된 방법과 비교해 어떻게 되는가?
• RQ5 CroP 생성기는 색조 보정 분야의 고급 딥러닝 기법에 필요한 대규모 데이터 생성을 지원할 수 있는가?

주요 결과

• CroP로 생성된 데이터셋으로 훈련된 모델은 실제 벤치마크 Cube+에서 경쟁적인 성능을 보였으며, Color Beaver의 경우 중앙각 오차가 0.74, Smart Color Cat의 경우 1.43를 기록했다.
• CroP로 훈련한 모델과 실제 데이터로 훈련한 모델 간 성능 격차는 비교적 작았으며, 특히 Color Beaver와 같은 방법의 경우 강력한 일반화 능력을 보여주었다.
• CroP 데이터로 훈련된 회귀 트리는 중앙각 오차가 1.66로 나타나, 단순한 모델조차도 합성 데이터의 현실성 덕분에 이점을 얻음을 입증했다.
• 생성된 이미지들은 실제 이미지와 핵심 통계적 특성을 공유하여 기계학습 기반 방법의 효과적인 훈련을 가능하게 했다.
• 생성 과정에서 고성능 카메라(Canon EOS 6D 마크 II)를 사용함으로써 노이즈가 감소하고 현실감이 향상되어 모델의 일반화 능력이 향상되었다.
• CroP는 정확하고 제어 가능한 진짜 조명 레이블을 제공하며 임의의 스케일의 데이터셋 생성이 가능하여, 기존 데이터셋이 지닌 고정된 소규모 이미지 수의 한계를 극복한다.