[논문 리뷰] A Benchmark for Temporal Color Constancy

Yanlin Qian, Jani Käpylä외 3명|arXiv (Cornell University)|2020. 03. 08.

Color Science and Applications참고 문헌 34인용 수 4

한 줄 요약

이 논문은 600개의 고해상도 비디오 시퀀스를 포함한 가장 큰 실세계 시간색상보정 데이터셋인 TCC-benchmark를 소개하고, 뛰어난 조명 추정을 위해 다중 프레임 시간 정보를 활용하는 새로운 2D-LSTM 기반 딥러닝 모델인 TCC-Net을 제안한다. TCC-Net은 TCC-benchmark에서 기존 방법 대비 평균 각도 오차를 40% 감소시키고, SFU Gray Ball에서 30% 감소시켜 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Temporal Color Constancy (CC) is a recently proposed approach that challenges the conventional single-frame color constancy. The conventional approach is to use a single frame - shot frame - to estimate the scene illumination color. In temporal CC, multiple frames from the view finder sequence are used to estimate the color. However, there are no realistic large scale temporal color constancy datasets for method evaluation. In this work, a new temporal CC benchmark is introduced. The benchmark comprises of (1) 600 real-world sequences recorded with a high-resolution mobile phone camera, (2) a fixed train-test split which ensures consistent evaluation, and (3) a baseline method which achieves high accuracy in the new benchmark and the dataset used in previous works. Results for more than 20 well-known color constancy methods including the recent state-of-the-arts are reported in our experiments.

연구 동기 및 목표

• 기준으로 사용할 수 있는 대규모이고 현실적인 시간색상보정 데이터셋이 부족한 문제를 해결하기 위해.
• 고정된 훈련-테스트 분할 조건 하에서 20여종이 넘는 단일 프레임 및 시간색상보정 방법의 성능을 평가하기 위해.
• 기존 방법들을 능가하는 강력하고 효율적인 기준 모델(TCC-Net)을 제안하기 위해.
• 공개된 데이터셋과 코드를 통해 시간색상보정 방법의 공정하고 재현 가능한 평가를 가능하게 하기 위해.
• 최적의 성능을 얻기 위한 아키텍처 설계 선택 사항(예: 2D-LSTM, SqueezeNet 백본, 가변 길이 입력 시퀀스)을 탐색하기 위해.

제안 방법

• TCC-benchmark는 고해상도 모바일폰으로 촬영한 600개의 실세계 비디오 시퀀스로 구성되며, 다양한 실내 및 실외 환경, 기상 조건 및 일광 조건을 포함한다.
• 모든 방법에 대해 일관된 평가를 보장하기 위해 고정된 훈련-테스트 분할을 사용하며, 시퀀스 길이는 3에서 17 프레임 사이이다.
• TCC-Net은 이중 브랜치 아키텍처를 사용한다. 한 브랜치는 SqueezeNet을 활용해 셷 프레임의 특징을 추출하고, 다른 브랜치는 이전 프레임들의 가짜 시퀀스를 2D-LSTM로 처리하여 공간-시간 상관관계를 모델링한다.
• 2D-LSTM 모듈은 컨볼루션 재귀를 2D 특징 맵에 적용하여 공간적 및 시간적 상관관계를 모두 캡처하며, 최적의 균형을 확보하기 위해 커널 크기 K=5, 은닉 차원 H=128를 사용한다.
• 모델은 지도 학습 방식으로 엔드 투 엔드로 훈련되며, 정답 레이블에 대한 평균 각도 오차를 최소화하여 조명 색상도를 예측한다.
• 가변 길이 입력 시퀀스를 지원하여, 시퀀스 길이가 사전에 알려지지 않은 실세계 뷰파인더 환경에서도 구현이 가능하다.

실험 결과

연구 질문

• RQ1 실제로 대규모인 실세계 기반 기준에서 시간색상보정 방법의 성능가 단일 프레임 방법의 성능를 비교할 경우 어떻게 되는가?
• RQ2 시간색상보정에서 최고의 성능를 얻기 위해 어떤 아키텍처 구성 요소(예: 1D vs. 2D-LSTM, 백본 네트워크, 시퀀스 길이)가 가장 효과적인가?
• RQ3 경량화되고 모바일 친화적인 모델이 시간색상보정에서 최신 기술 수준의 정확도를 달성할 수 있는가?
• RQ4 제안된 TCC-Net이 이전에 사용된 SFU Gray Ball 데이터셋을 포함한 다양한 데이터셋에서 어떻게 일반화되는가?
• RQ5 2D-LSTM가 단일 프레임 또는 1D-LSTM 기반 기준 대비 조명 추정 성능 향상에 기여하는 공간-시간 특징을 얼마나 잘 학습하는가?

주요 결과

• TCC-Net은 TCC-benchmark에서 평균 각도 오차 1.46°를 기록하여, 가장 우수한 단일 프레임 방법 대비 40% 향상되고, 가장 뛰어난 이전 시간색상보정 방법 대비 27% 향상되었다.
• 2D-LSTM 버전의 TCC-Net(G 모델)이 가장 뛰어난 성능를 보였으며, 1D-LSTM 및 기타 설정보다 뛰어나 평균 각도 오차 1.46°, 메모리 용량 68.8 MB를 기록했다.
• SqueezeNet을 백본으로 사용하면 메모리 용량이 6.6 MB(C 모델)로 감소하면서도 높은 정확도를 유지하여 모바일 배포에 적합하다.
• 가짜 시퀀스 브랜치를 포함한 이중 브랜치 아키텍처는 단일 브랜치 설계 대비 평균 오차에서 12.7% 향상되었다.
• 2D-LSTM의 최적 커널 크기는 K=5이며, 최적의 은닉 차원은 H=128로, 과소적합과 과적합을 균형 있게 조절한다.
• TCC-Net은 잘 일반화되며, SFU Gray Ball 데이터셋에서 가장 뛰어난 단일 프레임 방법 대비 33% 낮은 평균 각도 오차, 가장 뛰어난 시간색상보정 방법 대비 30% 낮은 오차를 기록했다.