[논문 리뷰] CLCC: Contrastive Learning for Color Constancy

Yi‐Chen Lo, Chia-Che Chang외 5명|arXiv (Cornell University)|2021. 06. 09.

Color Science and Applications참고 문헌 66인용 수 5

한 줄 요약

CLCC는 색상 일관성에 대해 완전히 지도된 대비 학습 프레임워크를 제안하며, 새로운 라우드 도메인 색상 증강을 통해 조명에 의존하는 특징을 구성함으로써 강건성과 정확도를 향상시킨다. 모델 복잡도를 증가시키지 않고 NUS-8에서 상대 오차를 17.5% 감소시키고 데이터가 적은 영역에서 최악의 오차를 28.7% 감소시켜 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In this paper, we present CLCC, a novel contrastive learning framework for color constancy. Contrastive learning has been applied for learning high-quality visual representations for image classification. One key aspect to yield useful representations for image classification is to design illuminant invariant augmentations. However, the illuminant invariant assumption conflicts with the nature of the color constancy task, which aims to estimate the illuminant given a raw image. Therefore, we construct effective contrastive pairs for learning better illuminant-dependent features via a novel raw-domain color augmentation. On the NUS-8 dataset, our method provides $17.5\%$ relative improvements over a strong baseline, reaching state-of-the-art performance without increasing model complexity. Furthermore, our method achieves competitive performance on the Gehler dataset with $3 imes$ fewer parameters compared to top-ranking deep learning methods. More importantly, we show that our model is more robust to different scenes under close proximity of illuminants, significantly reducing $28.7\%$ worst-case error in data-sparse regions.

연구 동기 및 목표

• 깊은 색상 일관성 모델이 장면의 내용에 의존하는 바이어스된 상관관계를 학습하는 문제를 해결하기 위해.
• 특히 저조도 조건에서 데이터가 적은 영역에서 모델의 강건성을 향상시키기 위해.
• 표준 이미지 분류에서 사용되는 증강 기법의 한계를 극복하고 색상 일관성에 특화된 대비 학습 프레임워크를 개발하기 위해.
• 모델 복잡도를 증가시키지 않거나 추가 데이터를 요구하지 않고 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• CLCC는 레이블 정보를 사용하여 대비 쌍을 구성하며, 양성 쌍은 동일한 장면이지만 다른 조명 조건에서, 음성 쌍은 동일한 조명 조건이지만 다른 장면에서의 샘플로 정의된다.
• 색상 도메인 지식에 기반한 새로운 라우드 도메인 색상 증강 기법을 제안하여 선형적인 장면 조명 반사율 관계를 유지하면서도 현실적이고 정보적인 대비 샘플을 생성한다.
• 완전히 지도된 대비 학습 목표를 사용하며, 조명 및 장면 레이블을 활용해 양성 쌍을 명시적으로 정의함으로써 특징의 분리 능력을 향상시킨다.
• 강력한 베이스라인(SqueezeNet-FC4)을 활용하고 아키텍처 변경 없이 대비 학습을 적용함으로써 모델 복잡도를 유지한다.
• 색상 증강 기법으로 Full-Aug(컬러 체크를 통한 전체 색상 매핑)와 WB-Aug(화이트 밸런스 기반 중성 색상 매핑)를 포함하며, 모두 조명 감도를 유지하도록 설계되었다.
• 동일한 장면이지만 다른 조명 조건에서의 표현을 멀리 떼고, 동일한 조명 조건이지만 다른 장면에서의 표현을 가까이 모으는 대비 손실을 사용해 모델을 훈련한다.

Figure 1: Our main idea of CLCC: The scene-invariant, illuminant-dependent representation of the same scene under different illuminants should be far from each other, while different scenes under the same illuminant should be close to each other.

실험 결과

연구 질문

• RQ1 조명 및 장면 레이블을 기반으로 양성 및 음성 쌍을 명시적으로 구성함으로써 완전히 지도된 대비 학습이 색상 일관성의 특징 표현을 향상시킬 수 있는가?
• RQ2 라우드 도메인에서 새로운 조명 인식 색상 증강 기법이 선형 조명 반사율 관계를 위반하지 않으면서도 대비 학습을 향상시킬 수 있는가?
• RQ3 CLCC는 특히 드문 또는 극한의 조명 조건에서 데이터가 적은 영역에서 강건성을 향상시킬 수 있는가?
• RQ4 CLCC는 모델 복잡도를 증가시키지 않거나 보조 데이터에 의존하지 않고 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• NUS-8 데이터셋에서 CLCC는 평균 각도 오차를 SqueezeNet-FC4 베이스라인 대비 2.23에서 1.84로 낮춰 상대 오차를 17.5% 감소시켰다.
• Gehler 데이터셋에서 CLCC는 최상위 방법 C4에 비해 0.1 미만의 성능 격차를 보이며, 파rameter 수가 3배 적은 조건에서도 경쟁적인 성능을 달성했다.
• Gehler 데이터셋에서 데이터가 적은 영역(예:粉색 클러스터의 16개 데이터 포인트)에서 CLCC는 최악의 오차를 3.24에서 2.31로 28.7% 감소시켰다.
• WB-Aug만을 사용해도 베이스라인 대비 평균 각도 오차를 13.5% 감소시키고 최악의 오차를 16.5% 감소시켜, 전체 색상 매핑 없이도 효과가 있음을 입증했다.
• Full-Aug는 WB-Aug 대비 추가로 평균 각도 오차를 5.1% 감소시켜 정확한 색상 합성의 이점을 보여주었다.
• 보조 데이터를 사용하지 않을 때 CLCC는 모든 지표에서 FFCC-4 채널보다 뛰어나며, 클러스터 간 테스트 오차의 표준편차가 낮아 더 뛰어난 강건성을 보였다.

Figure 2: An overview of our CLCC: Besides the main color constancy task, we propose to incorporate contrastive learning to learn generalized and illuminant-dependent feature representations.