[論文レビュー] Prediction Model for Semitransparent Watercolor Pigment Mixtures Using Deep Learning with a Dataset of Transmittance and Reflectance

Mei-Yun Chen, Yabo Huang+2 more|arXiv (Cornell University)|Mar 30, 2019

Color Science and Applications参考文献 17被引用数 4

ひとこと要約

本稿では、透過率および反射率測定値からなる独自のデータセットを用いて、半透明な水彩絵の具の混合を深層学習ベースで予測するモデルを提案している。13種の原色絵の具と780種の混合物を用いた深層ニューラルネットワークの学習により、スマートパレットシステムを構築し、正確な混合レシピを提供可能にした。テストケースの83%がΔE*ab < 5を満たしており、直感的またはイッテンの色環といった従来手法を著しく上回っている。

ABSTRACT

Learning color mixing is difficult for novice painters. In order to support novice painters in learning color mixing, we propose a prediction model for semitransparent pigment mixtures and use its prediction results to create a Smart Palette system. Such a system is constructed by first building a watercolor dataset with two types of color mixing data, indicated by transmittance and reflectance: incrementation of the same primary pigment and a mixture of two different pigments. Next, we apply the collected data to a deep neural network to train a model for predicting the results of semitransparent pigment mixtures. Finally, we constructed a Smart Palette that provides easily-followable instructions on mixing a target color with two primary pigments in real life: when users pick a pixel, an RGB color, from an image, the system returns its mixing recipe which indicates the two primary pigments being used and their quantities.

研究の動機と目的

• 初心者が水彩絵の具の混合を学ぶ際の困難、特にイッテンの色環のような伝統的ツールからの限られた支援を受けることの難しさを解決すること。
• 水彩のような高透過性の媒体において、絵の具の比率と透過率の両方を考慮するデータ駆動型の予測モデルを開発すること。
• 目的のRGB色に基づき、リアルタイムで正確な混合レシピを提供する実用的なスマートパレットシステムを構築すること。
• ユーザー研究を用いて、モデルの性能を真値と比較し、従来の混合手法との有効性を評価すること。

提案手法

• スペクトラメータ（OTO SD1220）を用いて、13種の原色絵の具を12の量で測定し、780種の2色混合物の透過率および反射率を測定した独自のデータセットNTU WPSMを収集した。
• データセットには2種類のタイプが含まれる：タイプI（同じ絵の具の量を段階的に増加）とタイプM（1:1、1:2、2:1の比率で異なる2色を混合）。
• TensorFlowを用いて実装した深層ニューラルネットワーク（DNN）を、入力された絵の具の種類と量に基づき、混合物の反射率を予測するように学習させた。
• 学習済みモデルは、リアルタイムでの色一致に使用可能なルックアップテーブルを生成し、スマートパレットシステムが任意の目的のRGB色に対し、混合レシピを出力可能にした。
• ユーザー研究を通じて、直感的、イッテンの色環、スマートパレットの3つの方法による混合精度を比較し、色の差異はΔE*abで測定した。

実験結果

リサーチクエスチョン

• RQ1 透過率および反射率データを用いた深層学習モデルは、半透明な水彩絵の具の混合物の反射率を正確に予測できるか？
• RQ2 スマートパレットシステムの色一致精度は、直感的またはイッテンの色環といった従来手法と比較して、どのように差が現れるか？
• RQ3 透過率を組み込むことで、絵の具の比率のみを考慮するモデルに比べて、予測精度がどの程度向上するか？
• RQ4 提案されたデータセットとモデルは、アクリル絵の具やインクなどの他の半透明媒体へも一般化可能か？

主な発見

• モデルはテストケースの83%で色差（ΔE*ab）が5未満を達成しており、平均観察者にとって予測色と真値の差が識別不能であることを示している。
• ユーザー評価では、ΔE*ab値のt検定により、スマートパレットを用いた場合に直感的またはイッテンの色環を用いた場合よりも、色一致精度が統計的に有意に向上していることが確認された。
• スマートパレットシステムは、従来手法から得られるレシピよりも、目的色に著しく近い混合レシピを生成しており、初心者にとっての実用的価値を示している。
• 13種の絵の具と780種の混合物の透過率および反射率測定値を含むNTU WPSMデータセットは、今後の研究やモデル開発のために公開されている。
• 物理学的光の挙動、観察者の視認（CMF）、デバイス固有のディスプレイ要因を統合する学際的アプローチにより、デバイスや媒体を問わず汎用的な色一致が可能になった。