[논문 리뷰] Prediction Model for Semitransparent Watercolor Pigment Mixtures Using Deep Learning with a Dataset of Transmittance and Reflectance

Mei-Yun Chen, Yabo Huang외 2명|arXiv (Cornell University)|2019. 03. 30.

Color Science and Applications참고 문헌 17인용 수 4

한 줄 요약

이 논문은 투명도가 높은 수채화 색소 혼합물을 예측하기 위한 딥러닝 기반 모델을 제안한다. 실험은 13종의 주요 색소와 780종의 혼합물에 대한 투과도 및 반사도 측정값을 포함하는 자체 구축한 데이터셋을 기반으로 수행되었으며, 딥 네트워크를 훈련시켜 스마트 팔레트 시스템을 개발하였다. 이 시스템은 정확한 혼합 조리법을 제공하여 테스트 케이스의 83%에서 ΔE*ab < 5를 달성하였으며, 전통적인 방법(직관 또는 이텐 색상 휠)보다 뚜렷하게 뛰어난 성능을 보였다.

ABSTRACT

Learning color mixing is difficult for novice painters. In order to support novice painters in learning color mixing, we propose a prediction model for semitransparent pigment mixtures and use its prediction results to create a Smart Palette system. Such a system is constructed by first building a watercolor dataset with two types of color mixing data, indicated by transmittance and reflectance: incrementation of the same primary pigment and a mixture of two different pigments. Next, we apply the collected data to a deep neural network to train a model for predicting the results of semitransparent pigment mixtures. Finally, we constructed a Smart Palette that provides easily-followable instructions on mixing a target color with two primary pigments in real life: when users pick a pixel, an RGB color, from an image, the system returns its mixing recipe which indicates the two primary pigments being used and their quantities.

연구 동기 및 목표

• 초보자들이 수채화 색소 혼합을 배우는 데 어려움을 겪는 문제를 해결하기 위해, 특히 이텐 색상 휠과 같은 전통적 도구의 가이드가 제한적인 상황에서의 도움을 제공하고자 한다.
• 수채화와 같이 매우 투명한 매체에서 중요한 투과도와 색소 비율을 모두 고려하는 데이터 기반 예측 모델을 개발하고자 한다.
• 목표 RGB 색상에 기반해 실시간으로 정확한 혼합 조리법을 제공하는 실용적인 스마트 팔레트 시스템을 구축하고자 한다.
• 모델의 성능을 기준값과 비교하고, 사용자 연구를 통해 전통적 혼합 방법과의 효과성을 평가하고자 한다.

제안 방법

• 스펙트럼 미터(OTO SD1220)를 사용하여 13종의 주요 색소와 12개의 농도 단계, 780종의 이중 색소 혼합물에 대해 투과도 및 반사도를 측정한 자체 구축 데이터셋 NTU WPSM을 수집하였다.
• 데이터셋은 두 가지 유형으로 구성된다: 데이터 유형 I(동일한 색소의 농도 증가), 데이터 유형 M(1:1, 1:2, 2:1 비율로 두 색소 혼합).
• TensorFlow로 구현한 딥 네트워크(DNN)를 사용하여 입력된 색소 종류와 농도에 기반해 혼합물의 반사도를 예측하도록 훈련시켰다.
• 훈련된 모델은 실시간 색상 매칭을 위한 룩업 테이블을 생성하며, 스마트 팔레트 시스템이 임의의 목표 RGB 색상에 대해 혼합 조리법을 출력할 수 있도록 하였다.
• 사용자 연구를 통해 직관, 이텐 휠, 스마트 팔레트를 사용한 혼합 정확도를 비교하였으며, 색상 차이는 ΔE*ab로 측정하였다.

실험 결과

연구 질문

• RQ1 투과도 및 반사도 데이터를 기반으로 한 딥러닝 모델이 반투명 수채화 색소 혼합물의 반사도를 정확하게 예측할 수 있는가?
• RQ2 스마트 팔레트 시스템의 색상 매칭 정확도는 직관이나 이텐 색상 휠과 같은 전통적 방법에 비해 어떻게 비교되는가?
• RQ3 투과도를 고려함으로써 비율만 고려하는 모델에 비해 예측 정확도가 얼마나 향상되는가?
• RQ4 제안된 데이터셋과 모델은 아크릴이나 잉크와 같은 다른 반투명 매체로 일반화될 수 있는가?

주요 결과

• 모델은 테스트 케이스의 83%에서 색상 차이(ΔE*ab)가 5 이하를 기록하여, 평균 관찰자에게는 기준값과 구분되지 않는 색상을 예측함을 의미한다.
• 사용자 평가 결과, 스마트 팔레트를 사용할 경우 직관이나 이텐 휠을 사용할 경우에 비해 색상 매칭 정확도가 통계적으로 유의미하게 향상되었으며, ΔE*ab 값에 대한 t-검정으로 확인되었다.
• 스마트 팔레트 시스템은 전통적 방법으로 유도된 혼합 조리법보다 목표 색상에 훨씬 가까운 결과를 도출하여, 초보자들에게 실용적인 유용성을 입증하였다.
• 13종의 색소와 780종의 혼합물을 포함한 NTU WPSM 데이터셋은 향후 연구 및 모델 개발을 위해 공개되어 있다.
• 빛의 물리학, 관찰자 인지(색채관리공학, CMF), 기기 특화 디스플레이 요소를 통합한 다학제적 접근은 기기 및 매체 간 이식 가능한 색상 매칭을 가능하게 한다.