[논문 리뷰] Deep Structured-Output Regression Learning for Computational Color Constancy

Yanlin Qian, Ke Chen외 3명|arXiv (Cornell University)|2016. 07. 13.

Color Science and Applications참고 문헌 48인용 수 9

한 줄 요약

이 논문은 사전 훈련된 VGG 및 AlexNet 네트워크의 완전 연결층에서 유도한 특징을 활용하여 계산적 색상 일관성에 대한 환경 조명을 추정하기 위한 딥 스타일드아웃풋 회귀 프레임워크를 제안한다. 다중 출력 서포트 벡터 회귀(MSVR)를 사용하여 채널 간 상관관계를 모델링함으로써, SFU Indoor 벤치마크에서 중앙각 오차 1.64°를 기록하며 기존 방법들을 능가하는 최신 기술 수준의 성능을 달성하였으며, VGG가 AlexNet보다 우수하고, 더 깊은 층(fc6)가 fc7/fc8보다 우수함을 입증하였다.

ABSTRACT

Computational color constancy that requires esti- mation of illuminant colors of images is a fundamental yet active problem in computer vision, which can be formulated into a regression problem. To learn a robust regressor for color constancy, obtaining meaningful imagery features and capturing latent correlations across output variables play a vital role. In this work, we introduce a novel deep structured-output regression learning framework to achieve both goals simultaneously. By borrowing the power of deep convolutional neural networks (CNN) originally designed for visual recognition, the proposed framework can automatically discover strong features for white balancing over different illumination conditions and learn a multi-output regressor beyond underlying relationships between features and targets to find the complex interdependence of dif- ferent dimensions of target variables. Experiments on two public benchmarks demonstrate that our method achieves competitive performance in comparison with the state-of-the-art approaches.

연구 동기 및 목표

• 색상 일관성 문제의 과소 결정성 문제를 해결하기 위해 이미지 특징에서 환경 조명을 추정하고자 한다.
• 단일 출력 방법이 포착하지 못하는 채널 간 상관관계를 모델링하여 조명 추정 성능을 향상시키고자 한다.
• 종합적인 색상 일관성에 있어 깊은 CNN 특징(특히 VGG 및 AlexNet)의 효과를 평가하고자 한다.
• 조명 추정에 가장 적합한 CNN 층(fc6, fc7, fc8)과 회귀기(MSVR, MRR, RR)를 결정하고자 한다.
• 종합적인 CNN 회귀 프레임워크와 하이브리드 CNN + 구조적 회귀 프레임워크의 성능을 비교하고자 한다.

제안 방법

• 사전 훈련된 VGG 및 AlexNet의 완전 연결층 활성화값(fc6, fc7, fc8)을 깊은 시각적 특징으로 사용한다.
• 조명 추정은 다중 출력 서포트 벡터 회귀(MSVR)를 통해 수행되며, 빨간색, 초록색, 파란색 채널 예측 간의 상관관계를 모델링한다.
• 프레임워크는 CNN을 통한 특징 추출과 MSVR을 통한 회귀를 분리함으로써 고수준 표현에서의 구조적 출력 학습을 가능하게 한다.
• 랜덤 및 정규 패치 적용을 통한 데이터 증강을 적용하여 훈련 다양성을 증가시키지만, 과적합을 유발하고 성능 저하를 초래한다.
• 주로 각도 오차를 주요 평가 지표로 사용하여 두 벤치마크(SFU Color Checker 및 SFU Indoor)에서 평가한다.
• 구조적 출력 모델링의 이점을 평가하기 위해 단일 출력 SVR, 리지 회귀(RR), 다중 출력 리지 회귀(MRR)와의 비교를 수행한다.

실험 결과

연구 질문

• RQ1 조명 추정에서 채널 간 상관관계를 모델링하면 단일 출력 회귀보다 성능 향상이 이루어지는가?
• RQ2 사전 훈련된 CNN 아키텍처 중 VGG와 AlexNet 중 어느 것이 조명 추정에 더 나은 특징을 제공하는가?
• RQ3 완전 연결층(fc6, fc7, fc8) 중 어느 것이 색상 일관성에 가장 구분력 있는 특징을 제공하는가?
• RQ4 하이브리드 CNN + 구조적 회귀 프레임워크가 종합적인 CNN 회귀보다 성능이 뛰어나게 되는가?
• RQ5 패치 기반의 데이터 증강이 조명 추정의 일반화 및 성능에 어떤 영향을 미치는가?

주요 결과

• VGG는 두 벤치마크 모두에서 AlexNet을 능가하며, SFU Color Checker에서 0.7–0.9의 중앙 오차 감소와 SFU Indoor에서 0.35의 감소를 기록한다.
• 최고의 성능은 fc6 층에서 달성되며, 더 깊은 층(fc7, fc8)은 저수준 시각적 단서의 손실로 인해 성능이 저하된다.
• 다중 출력 SVR(MSVR)는 단일 출력 SVR를 크게 능가하며, 채널 간 상관관계 모델링의 중요성을 입증한다.
• CNN+MSVR 프레임워크는 SFU Indoor 벤치마크에서 중앙각 오차 1.64°를 기록하여 기존 최신 기술 수준을 초월한다.
• 패치 기반 데이터 증강은 과적합을 유발하고 제안된 CNN+MSVR 프레임워크보다 성능이 열 劣하다.
• VGG 특징과 MSVR의 조합이 가장 우수한 결과를 낸다. SFU Color Checker에서는 평균 오차 4.29, SFU Indoor에서는 3.25를 기록한다.