[논문 리뷰] Semantic White Balance: Semantic Color Constancy Using Convolutional Neural Network

Mahmoud Afifi|arXiv (Cornell University)|2018. 02. 01.

Color Science and Applications참고 문헌 10인용 수 14

한 줄 요약

이 논문은 세분화된 세그먼테이션 마스크를 RGB 이미지 데이터와 통합하여 색상 일관성(색상 보정)을 향상시키기 위해 컨volutional 신경망(CNN)을 활용하는 의미론적 화이트 밸런스 방법을 제안한다. 공간적 정보와 의미론적 정보를 동시에 사용하여 수정된 AlexNet을 조명 색상과 감마 보정 파라미터를 추정하도록 훈련시킴으로써, 의미론적 기반의 기본 모델 대비 색상 보정 오차를 40% 이상 감소시켰으며, 이는 의미론적 맥락이 조명 추정 정확도에 상당한 기여를 한다는 것을 보여준다.

ABSTRACT

The goal of computational color constancy is to preserve the perceptive colors of objects under different lighting conditions by removing the effect of color casts caused by the scene's illumination. With the rapid development of deep learning based techniques, significant progress has been made in image semantic segmentation. In this work, we exploit the semantic information together with the color and spatial information of the input image in order to remove color casts. We train a convolutional neural network (CNN) model that learns to estimate the illuminant color and gamma correction parameters based on the semantic information of the given image. Experimental results show that feeding the CNN with the semantic information leads to a significant improvement in the results by reducing the error by more than 40%.

연구 동기 및 목표

• 의미론적 정보를 딥 러닝 모델에 통합함으로써 계산 기반 색상 일관성을 향상시키기.
• 색상과 공간 통계에만 의존하는 전통적 색상 일관성 방법의 한계를 해결하기.
• 의미론적 세그먼테이션 마스크가 CNN 기반 화이트 밸런스 시스템에서 조명 추정 정확도를 향상시킬 수 있는지 조사하기.
• 부정확하거나 오차가 있는 의미론적 마스크를 사용할 경우에도 방법의 강건성을 평가하기.
• 의미론적 인식 CNN을 활용한 조명 색상과 감마 보정의 공동 학습이 더 나은 시각적 및 정량적 결과를 낳는지 증명하기.

제안 방법

• 입력 이미지를 RGB 채널과 의미론적 마스크를 조합한 4차원 볼륨으로 표현하여, 네트워크가 동시에 색상과 의미론적 콘텐츠를 처리할 수 있도록 한다.
• 4차원 입력 텐서를 처리할 수 있도록 첫 번째 레이어를 4차원 컨volution 레이어로 대체한 수정된 AlexNet 아키텍처를 사용한다.
• 완전 연결 레이어를 fc6–fc9로 재구성한 네 개의 새로운 레이어로 변경하고, 이후 회귀 헤드를 통해 네 개의 파라미터를 예측한다: 빨간색, 초록색, 파란색 조명 성분(r, g, b)과 감마 보정(γ).
• 이미지 보정은 다음 식을 사용하여 수행된다: ŝ = (I × M)^(1/γ), 여기서 M는 조명 성분의 역행렬을 대각선으로 가지는 행렬이다.
• 모델은 ADE20K 데이터셋의 실제 sRGB 이미지에 무작위 색조 이물질(r, g, b ∈ [0.7, 1.3])과 감마 보정(γ ∈ [0.85, 1.15])을 적용하여 생성한 합성 데이터를 사용해 훈련된다.
• 데이터 증강은 공간 변환을 포함하여 훈련 데이터를 풍부하게 하고 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 의미론적 세그먼테이션 마스크를 CNN에 통합하면 색상 일관성의 조명 추정 정확도가 향상되는가?
• RQ2 RGB와 공간 특징만을 사용하는 모델 대비 의미론적 맥락을 포함한 딥 러닝 기반 화이트 밸런스 모델의 성능은 어떻게 영향을 받는가?
• RQ3 의미론적 마스크가 부정확하거나 노이즈가 있는 경우 성능 저하 정도는 어느 정도인가?
• RQ4 조명 색상과 감마 보정을 함께 추정하는 것이 별도 또는 고정 파rameter 보정보다 더 나은 시각적 및 정량적 성능을 낳는가?
• RQ5 통제된 색조 이물질을 가진 합성 데이터로 훈련된 CNN이 실제 sRGB 이미지에 효과적으로 일반화되는가?

주요 결과

• 제안된 방법은 의미론적 입력이 없는 기본 모델 대비 평균 제곱근 오차(RMSE)를 40% 이상 감소시켰으며, ADE20K 테스트 세트 전체에서 RMSE 31.1355 vs. 53.8815를 기록했다.
• 감마 보정이 필요 없는 경우(γ = 1)에는 오차 감소가 더욱 두드러지며, 51.8160에서 20.1450으로 감소하여 깔끔한 케이스에서 뛰어난 성능을 보였다.
• 정성적 결과에서는 이 방법이 회색 세계, Adobe Photoshop 자동 보정, Lightroom, 표준 AlexNet 기반 모델 대비 시각적으로 열등한 보정을 내보내지 않았다.
• 그림 6에서 볼 수 있듯이, 잘못된 의미론적 마스크를 입력으로 넣어도 여전히 의미론적 기반 기반 모델보다 우수한 성능을 유지하여 강건성을 입증했다.
• 그림 4에서 보듯이, 이 방법은 NUS 및 Gehler 데이터셋에서 회색 세계, 화이트 패치, PCA 기반 조명 추정과 같은 전통적 알고리즘을 모두 능가했다.
• 의미론적 마스크의 사용은 네트워크가 사전 지식(예: 하늘은 파란색이어야 함)을 활용할 수 있도록 하여 조명 추정의 강건성과 정확도를 향상시켰다.