[논문 리뷰] Unsupervised Learning for Color Constancy

Nikola Banić, Karlo Koščević외 1명|arXiv (Cornell University)|2017. 12. 01.

Image Enhancement Techniques인용 수 5

한 줄 요약

이 논문은 캘리브레이션되지 않은 훈련 이미지에서 근사된 진정한 조명을 군집화하여 조명을 추정하는 비지도 학습 기반 색조정상태 방법을 제안한다. 수동 캘리브레이션을 피하면서도 최신 기술 수준의 정확도를 달성하며, 빠르고 하드웨어 친화적이며, 센서에 관계없이 전이가 가능한 파rameter를 학습함으로써 통계 기반 및 많은 지도 학습 기반 방법보다 뛰어난 성능을 발휘한다.

ABSTRACT

Most digital camera pipelines use color constancy methods to reduce the influence of illumination and camera sensor on the colors of scene objects. The highest accuracy of color correction is obtained with learning-based color constancy methods, but they require a significant amount of calibrated training images with known ground-truth illumination. Such calibration is time consuming, preferably done for each sensor individually, and therefore a major bottleneck in acquiring high color constancy accuracy. Statistics-based methods do not require calibrated training images, but they are less accurate. In this paper an unsupervised learning-based method is proposed that learns its parameter values after approximating the unknown ground-truth illumination of the training images, thus avoiding calibration. In terms of accuracy the proposed method outperforms all statistics-based and many learning-based methods. An extension of the method is also proposed, which learns the needed parameters from non-calibrated images taken with one sensor and which can then be successfully applied to images taken with another sensor. This effectively enables inter-camera unsupervised learning for color constancy. Additionally, a new high quality color constancy benchmark dataset with 1707 calibrated images is created, used for testing, and made publicly available. The results are presented and discussed. The source code and the dataset are available at http://www.fer.unizg.hr/ipg/resources/color_constancy/.

연구 동기 및 목표

• 지도 학습 기반 색조정상태에서 수동 캘리브레이션의 주요 장애 요소인 시간 소모성과 센서 특이성을 해결하기 위해.
• 진정한 조명이 알려지지 않은 캘리브레이션되지 않은 이미지에서 학습하는 비지도 학습 방법을 개발하기 위해.
• 캘리브레이션된 데이터로 재학습 없이도 다른 카메라 센서 간에 학습된 파라미터를 전이할 수 있도록 하기 위해.
• 색조조정상태 평가를 위한 고품질이고 공개 가능한 기준 데이터셋을 구축하기 위해.

제안 방법

• 각 훈련 이미지의 진정한 조명을 그레이월드 및 화이트패치 방법의 조합을 사용해 근사한다.
• 근사된 조명에 대해 군집화(k-means)를 적용하여 주요 조명 방향을 식별한다.
• 군집 중심을 새로운 테스트 이미지에서의 조명 추정을 위한 투표 후보로 사용한다.
• 다중 후보 중에서 가장 일관된 조명 추정을 선택하기 위해 잘라내기 기반의 투표 메커니즘을 적용한다.
• 다른 카메라 센서 간에 학습된 파라미터를 전이할 수 있도록 센서 감도 보정을 활용한다.
• 이미지 픽셀의 통계적 성질을 활용하여 진정한 레이블 없이도 조명을 추론한다.

실험 결과

연구 질문

• RQ1 수동 캘리브레이션되지 않은 훈련 이미지를 요구하지 않고도 비지도 학습이 색조정상태에서 높은 정확도를 달성할 수 있는가?
• RQ2 한 센서에서 학습된 방법이 재학습 없이 다른 센서에 효과적으로 적용될 수 있는가?
• RQ3 캘리브레이션되지 않은 이미지에서 근사된 조명을 군집화하는 것이 전통적인 통계 기반 방법보다 더 높은 성능을 낼 수 있는가?
• RQ4 최신 기술 수준의 지도 학습 기반 및 통계 기반 색조정상태 기법과 비교해 본 결과, 제안된 방법은 정확도와 효율성 면에서 어떤가?

주요 결과

• 제안된 방법은 표준 기준 데이터셋에서 통계 기반 색조정상태 방법 전반과 많은 지도 학습 기반 방법보다 정확도 면에서 뛰어나다.
• 훈련 과정에서 진정한 조명 레이블이 전혀 필요 없이도 높은 정확도를 달성하여 시간 소모적인 캘리브레이션의 필요성을 제거한다.
• 메서드는 카메라 간 전이가 가능하다: 한 센서에서 학습된 파라미터는 센서 감도 보정을 거친 후 다른 센서의 이미지에 성공적으로 적용될 수 있다.
• 제안된 방법은 계산적으로 효율적이며, 그레이월드 및 화이트패치와 같은 빠른 통계 기반 방법과 유사한 테스트 시간 비용을 가진다.
• 거짓되거나 정확하지 않은 진정한 레이블이 존재하더라도 강건한 성능을 보이며, 이러한 레이블에 의존하지 않는다.
• 1707장의 캘리브레이션된 선형 이미지를 포함한 새로운 기준 데이터셋인 Cube+를 구축하여 향후 연구를 위해 공개하였다.