[논문 리뷰] INTEL-TUT Dataset for Camera Invariant Color Constancy Research

Çağlar Aytekin, Jarno Nikkanen외 1명|arXiv (Cornell University)|2017. 03. 21.

Color Science and Applications참고 문헌 31인용 수 11

한 줄 요약

이 논문은 세 대의 카메라를 사용해 다섯 가지 조명 조건 하에서 실험실 및 현장 환경을 촬영한 INTEL-TUT 데이터셋을 소개한다. 이 데이터셋은 최소한의 정렬 오차를 가진 촬영을 통해 카메라에 관계없이 색상 일관성을 확보하며, 스펙트럼 반응, 조명 프로파일, 사전 정의된 훈련/검증/테스트 분할을 제공하여 알고리즘의 공정한 평가를 가능하게 한다. 또한 색상 색조 분석을 위한 모바일 카메라 데이터도 포함되어 있다.

ABSTRACT

In this paper, we provide a novel dataset designed for camera invariant color constancy research. Camera invariance corresponds to the robustness of an algorithm's performance when run on images of the same scene taken by different cameras. Accordingly, images in the database correspond to several lab and field scenes each of which are captured by three different cameras with minimal registration errors. The lab scenes are also captured under five different illuminations. The spectral responses of cameras and the spectral power distributions of the lab light sources are also provided, as they may prove beneficial for training future algorithms to achieve color constancy. For a fair evaluation of future methods, we provide guidelines for supervised methods with indicated training, validation and testing partitions. Accordingly, we evaluate a recently proposed convolutional neural network based color constancy algorithm as a baseline for future research. As a side contribution, this dataset also includes images taken by a mobile camera with color shading corrected and uncorrected results. This allows research on the effect of color shading as well.

연구 동기 및 목표

• 카메라에 관계없는 색상 일관성 알고리즘 평가를 위한 표준화된 벤치마크가 부족한 문제를 해결하기 위해.
• 통제된 조건과 실제 환경에서 세 대의 다른 카메라로 일관된 씬 촬영을 제공하기 위해.
• 알고리즘 훈련 및 분석을 향상시키기 위해 빛의원천의 스펙트럼 강도 분포와 카메라의 스펙트럼 반응을 포함하기 위해.
• 감독 학습 방법의 재현 가능한 평가를 보장하기 위해 사전 정의된 훈련, 검증, 테스트 분할을 제공하기 위해.
• 모바일 카메라 이미지의 색상 색조 영향을 분석하기 위해 보정된 버전과 보정되지 않은 버전을 모두 포함하기 위해.

제안 방법

• 세 대의 서로 다른 카메라를 사용해 실험실 및 현장 씬의 이미지를 촬영하여 최소한의 정렬 오차를 확보함으로써 공간적 일관성을 확보한다.
• 실험실 씬은 다섯 가지 다른 통제된 조명 조건 하에서 촬영되며, 해당 조명의 스펙트럼 강도 분포가 함께 제공된다.
• 색상 일관성 알고리즘 개발을 지원하기 위해 카메라의 스펙트럼 반응을 측정하고 포함한다.
• 감독 학습 방법의 재현 가능한 평가를 위해 데이터셋을 훈련, 검증, 테스트 세트로 분할한다.
• 모바일 카메라 이미지는 색조 보정된 버전과 보정되지 않은 버전 모두 포함되어 색조 영향을 연구하기 위함이다.
• 데이터셋의 유용성을 입증하기 위해 CNN 기반 색상 일관성 방법을 베이스라인으로 평가한다.

실험 결과

연구 질문

• RQ1 동일한 씬을 다른 카메라로 촬영한 이미지에 적용했을 때 알고리즘 성능가 어떻게 변하는가?
• RQ2 카메라 및 조명의 스펙트럼 데이터가 기기 간 색상 일관성의 강건성 향상에 얼마나 기여하는가?
• RQ3 모바일 카메라의 색상 색조는 색상 일관성 알고리즘의 성능에 어떤 영향을 미치는가?
• RQ4 제안된 데이터셋은 새로운 색상 일관성 방법의 신뢰성 있고 재현 가능한 평가를 지원할 수 있는가?
• RQ5 CNN 기반 베이스라인의 성능은 INTEL-TUT 데이터셋에서 카메라에 관계없는 조건 하에 어떻게 나타나는가?

주요 결과

• INTEL-TUT 데이터셋은 세 대의 카메라를 통해 일관된 씬 촬영을 제공함으로써 카메라에 관계없는 색상 일관성 평가를 위한 표준화된 벤치마크를 제공한다.
• 고급 알고리즘 개발을 지원하기 위해 카메라의 스펙트럼 반응과 조명의 스펙트럼 강도 분포가 포함되어 있다.
• 색조 보정된 버전과 보정되지 않은 버전의 모바일 카메라 이미지가 모두 포함되어 있어 색조 영향 분석이 가능하다.
• 베이스라인으로 CNN 기반 색상 일관성 방법이 평가되어 데이터셋의 성능 비교 유용성을 입증하였다.
• 사전 정의된 훈련/검증/테스트 분할을 포함해 공개된 데이터셋은 향후 방법의 공정하고 재현 가능한 평가를 보장한다.
• 데이터셋은 IEEE Transactions on Image Processing에 게재되어 피어 리뷰를 통과했고 연구적 관련성이 확인되었다.