[논문 리뷰] Dichromatic Gray Pixel for Camera-agnostic Color Constancy.

Yanlin Qian, Ke Chen외 3명|arXiv (Cornell University)|2018. 03. 22.

Color Science and Applications참고 문헌 27인용 수 2

한 줄 요약

이 논문은 카메라에 종속되지 않는 색상 일관성 방법인 이색성 회색 픽셀(Dichromatic Gray Pixel, DGP)을 소개한다. 이 방법은 이색성 반사 모델을 사용하여 회색으로 보일 만한 픽셀을 탐지한다. 최소한의 코드(수십 줄)로 구현되었으며, 표준 CPU에서 최적화되지 않은 MATLAB 코드를 사용해 1080p 이미지의 처리 시간이 0.5초 미만이어서 표준 벤치마크에서 최고 성능을 기록한다.

ABSTRACT

We propose a novel statistical color constancy method, especially suitable for the Camera-agnostic Color Constancy, i.e. the scenario where nothing is known a priori about the capturing devices. The method, called Dichromatic Gray Pixel, or DGP, relies on a novel gray pixel detection algorithm derived using the Dichromatic Reflection Model. DGP is suitable for camera-agnostic color constancy since varying devices are set to make achromatic pixels look gray under standard neutral illumination. In the camera-agnostic scenario, the proposed method outperforms on standard benchmarks, both state-of-the-art learning-based and statistical methods. DGP is simple, literally dozens of lines of code, and fast, processing a 1080p image in 0.4 seconds with unoptimized MATLAB code running in a CPU Intel i7 2.5 GHz.

연구 동기 및 목표

• 기록 장치에 대한 사전 정보가 없는 카메라에 종속되지 않는 설정에서 색상 일관성 문제를 해결한다.
• 기존의 통계적 및 학습 기반 방법이 촬영 장치의 특성이 알려지지 않은 상황에서 겪는 한계를 극복한다.
• 실시간 응용 프로그램에 적합하고 계산 오버헤드가 최소한인 단순하고 효율적인 방법을 개발한다.
• 중성 조명 하에서의 강건성을 확보하기 위해 중성 표면이 회색으로 보여야 한다는 물리적 원리를 활용한다.
• 기기 특성에 맞는 校정 또는 학습 데이터가 필요 없이 표준 벤치마크에서 높은 성능을 달성한다.

제안 방법

• 다양한 조명 조건 하에서 빛이 표면에 반사되는 방식을 모델링하기 위해 이색성 반사 모델을 사용하여, 중성 표면이 회색으로 보일 가능성이 있는 픽셀의 반응을 정확하게 예측한다.
• 이미지 내 색채도를 분석하여 중성 조명 조건 하에서 중성일 가능성이 있는 픽셀을 식별하는 회색 픽셀 탐지 알고리즘을 설계한다.
• 표준 백색 조명으로 조명되었을 때 중성 표면이 회색으로 보여야 한다는 가정 하에, 이 모델을 사용해 회색으로 보일 것으로 예상되는 픽셀을 탐지한다.
• 카메라의 반응 함수에 대한 사전 지식이 없이도, 탐지된 중성 픽셀을 기준점으로 삼아 조명을 추정한다.
• 경량 구현을 통해 효율적으로 이미지를 처리하여, 표준 CPU에서 최적화되지 않은 MATLAB 코드로도 실시간 성능을 달성한다.
• 빛 반사의 물리적 특성과 표면의 중성성에만 의존하기 때문에, 카메라 특성에 종속되지 않는다.

실험 결과

연구 질문

• RQ1 사전 장치 지식 없이도 통계적 색상 일관성 방법이 카메라에 종속되지 않는 설정에서 최고 성능을 낼 수 있는가?
• RQ2 알 수 없는 조명 조건과 카메라 반응에서 이색성 반사 모델이 중성 픽셀 탐지에 얼마나 효과적인가?
• RQ3 기존의 학습 기반 및 통계적 접근 방식과 비교해 이 모델 기반 방법의 계산 효율성은 어떠한가?
• RQ4 복잡한 딥 러닝 기반 방법보다 단순하고 최소한의 코드로 구현된 방법이 벤치마크 평가에서 뛰어난 성능을 낼 수 있는가?
• RQ5 다양한 조명 조건과 카메라 특성을 가진 실제 이미지에서 이 방법이 강건성을 유지하는가?

주요 결과

• DGP 방법은 카메라에 종속되지 않는 설정에서 최고 성능을 보이는 학습 기반 및 통계적 색상 일관성 방법을 모두 초월한다.
• 이 방법은 인텔 i7 2.5GHz CPU에서 최적화되지 않은 MATLAB 코드를 사용해 1080p 이미지를 0.4초 내에 처리하여 높은 계산 효율성을 입증한다.
• 이 방법은 수십 줄의 코드로만 구성되어 있어 매우 실용적이며, 기존 파ip라인에 쉽게 구현하고 통합할 수 있다.
• DGP는 대규모 데이터셋에서 학습하는 대신 이색성 반사 모델의 물리적 일관성에 기반해 뛰어난 성능을 달성한다.
• 중성 표면이 표준 조명 하에서 회색으로 보여야 한다는 가정에 기반하기 때문에, 알려지지 않은 카메라 반응에 대해 강건하다.
• 간단함과 빠른 처리 속도 덕분에 계산 자원이 제한된 실시간 응용 프로그램에 적합하다.