[論文レビュー] Adversarial Colorization Of Icons Based On Structure And Color Conditions

Tsai-Ho Sun, Chien-Hsun Lai+2 more|arXiv (Cornell University)|Oct 3, 2019

Generative Adversarial Networks and Image Synthesis参考文献 46被引用数 6

ひとこと要約

本稿では、構造的および色のスタイル条件に基づいたアイコンの敵対的色付けのための二重条件付き生成対抗ネットワーク（GAN）を提案する。デザイナーは輪郭スケッチを提供し、システムは参照アイコンを用いて色付けをガイドすることで、最先端の手法と比較して優れた視覚的品質と構造的忠実度を達成した。ユーザー調査により、知覚的品質においても優位性が確認された。

ABSTRACT

We present a system to help designers create icons that are widely used in banners, signboards, billboards, homepages, and mobile apps. Designers are tasked with drawing contours, whereas our system colorizes contours in different styles. This goal is achieved by training a dual conditional generative adversarial network (GAN) on our collected icon dataset. One condition requires the generated image and the drawn contour to possess a similar contour, while the other anticipates the image and the referenced icon to be similar in color style. Accordingly, the generator takes a contour image and a man-made icon image to colorize the contour, and then the discriminators determine whether the result fulfills the two conditions. The trained network is able to colorize icons demanded by designers and greatly reduces their workload. For the evaluation, we compared our dual conditional GAN to several state-of-the-art techniques. Experiment results demonstrate that our network is over the previous networks. Finally, we will provide the source code, icon dataset, and trained network for public use.

研究の動機と目的

• デジタルインターフェース用に視覚的に一貫性のあるアイコンを作成する際のデザイナーの作業負荷を軽減すること。
• 多様な人為的リファレンスから、構造的ホログラムと色のスタイルの両方を満たすアイコンを生成する課題に対処すること。
• 既存の GAN が人為的アイコンと機械生成アイコンを区別できないという限界を克服すること。
• 直接画像入力を使用するのではなく、ユーザー指定のスタイルラベルを用いてインタラクティブでスタイルガイド付きの色付けを可能にすること。
• 構造と色の条件の分離を実現することで、アイコン色付けにおける視覚的忠実度と一貫性を向上させること。

提案手法

• 2つの判別器を備えた二重条件付き GAN アーキテクチャ：1つは入力の輪郭と生成画像の間の構造的類似性を強制し、もう1つは参照アイコンとの間の色の分布およびパレット類似性を強制する。
• 生成器は輪郭画像と参照アイコン画像を入力とし、両条件を満たす色付きアイコンを出力する。
• 構造的条件は、生成画像と入力輪郭の間の形状の一貫性を比較する判別器によって強制される。
• 色のスタイル条件は、生成画像と参照アイコンの間の色の分布およびパレット類似性を比較する判別器によって強制される。
• スタイルラベルインターフェースにより、ユーザーは望ましいアートスタイルを選択でき、システムはキュレートされたデータセットから一致する参照アイコンを検索する。
• 訓練プロセスでは敵対的損失と知覚的損失を用い、構造的および色ベースの現実性の両方を最適化する。

実験結果

リサーチクエスチョン

• RQ1 二重条件付き GAN は、アイコン色付けにおいて構造的および色のスタイル条件を効果的に分離し、強制できるか？
• RQ2 本手法は、最先端の画像対画像変換モデルと比較して、ホログラム構造と色のスタイルの両方をどれほど効果的に保持できるか？
• RQ3 ユーザー指定のスタイルラベルは、参照アイコンの選択を効果的にガイドし、使いやすさと一貫性を向上させられるか？
• RQ4 本システムは、視覚的品質を維持しつつ、どれほどデザイナーの作業負荷を軽減できるか？
• RQ5 構造的条件と色の条件が衝突する場合、システムの失敗モードはどのようなものか？

主な発見

• 主観的評価において92名の参加者を対象にした結果、本手法は平均スコア3.65（SD = 1.12）を達成し、すべてのベースラインと比べて有意に優れていた（p < 0.01）。
• 生成されたアイコンと入力輪郭との間のホログラム距離が、すべての手法の中で最小であり、優れた構造的保持を示している。
• 参照アイコンとの色の距離が最小化されており、強い色のスタイル整合性を示している。
• CycleGAN や MUNIT、iGAN と比較して、本手法は特に複雑な領域においてより正確で詳細な色付けを実現した。
• 失敗事例から、意味的整合性の課題（例：リンゴを青く色付けする）や、輪郭と参照アイコンの入力複雑度に差がある場合の衝突の問題が明らかになった。
• 本システムは、色付けの自動化によりデザイナーの作業負荷を効果的に軽減し、ユーザー指定の構造とスタイルへの高い忠実度を維持した。