[论文解读] Adversarial Colorization Of Icons Based On Structure And Color Conditions

Tsai-Ho Sun, Chien-Hsun Lai+2 more|arXiv (Cornell University)|Oct 3, 2019

Generative Adversarial Networks and Image Synthesis参考文献 46被引用 6

一句话总结

本文提出一种双条件生成对抗网络（GAN），用于基于结构和色彩风格条件的对抗性图标着色。设计师提供轮廓草图，系统则利用参考图标引导着色，相比最先进方法在视觉质量和结构保真度方面表现更优，用户研究也证实其在感知质量上的优越性。

ABSTRACT

We present a system to help designers create icons that are widely used in banners, signboards, billboards, homepages, and mobile apps. Designers are tasked with drawing contours, whereas our system colorizes contours in different styles. This goal is achieved by training a dual conditional generative adversarial network (GAN) on our collected icon dataset. One condition requires the generated image and the drawn contour to possess a similar contour, while the other anticipates the image and the referenced icon to be similar in color style. Accordingly, the generator takes a contour image and a man-made icon image to colorize the contour, and then the discriminators determine whether the result fulfills the two conditions. The trained network is able to colorize icons demanded by designers and greatly reduces their workload. For the evaluation, we compared our dual conditional GAN to several state-of-the-art techniques. Experiment results demonstrate that our network is over the previous networks. Finally, we will provide the source code, icon dataset, and trained network for public use.

研究动机与目标

• 减少设计师在为数字界面创建视觉一致图标方面的工作量。
• 解决从多样化、人为设计的参考图像中生成既匹配结构轮廓又匹配色彩风格图标的挑战。
• 克服现有 GAN 在区分人为设计与机器生成图标方面存在的局限性。
• 通过用户指定的风格标签而非直接图像输入，实现实时、风格引导的着色。
• 通过解耦结构与色彩条件的强制执行，提升图标着色的视觉保真度与一致性。

提出的方法

• 采用双条件 GAN 架构，包含两个判别器：一个用于强制输入轮廓与生成图像之间的结构相似性，另一个用于强制生成图像与参考图标之间的色彩风格相似性。
• 生成器以轮廓图像和参考图标图像作为输入，生成同时满足两种条件的着色图标。
• 通过一个判别器强制执行结构条件，该判别器比较生成图像与输入轮廓在形状一致性上的差异。
• 通过另一个判别器强制执行色彩风格条件，该判别器比较生成图像与参考图标在色彩分布和调色板相似性上的差异。
• 通过风格标签界面，用户可选择期望的美学风格，系统则从精心整理的数据集中检索匹配的参考图标。
• 训练过程使用对抗性损失和感知损失，以优化结构和基于色彩的真实感。

实验结果

研究问题

• RQ1 双条件 GAN 是否能有效解耦并强制执行图标着色中的结构与色彩风格条件？
• RQ2 与最先进图像到图像转换模型相比，所提方法在保留轮廓结构和色彩风格方面表现如何？
• RQ3 用户指定的风格标签是否能有效引导参考图标的选取，从而提升可用性与一致性？
• RQ4 该系统在保持高视觉质量的同时，能在多大程度上减少设计师的工作量？
• RQ5 当结构与色彩条件发生冲突时，系统的失败模式是什么？

主要发现

• 在 92 名参与者的主观评估中，本方法获得平均用户评分 3.65（标准差 = 1.12），显著优于所有基线方法（p < 0.01）。
• 生成图标与输入轮廓之间的轮廓距离在所有方法中最低，表明结构保留能力更优。
• 与参考图标相比，色彩距离最小化，表明色彩风格对齐效果强。
• 与 CycleGAN、MUNIT 和 iGAN 相比，本方法生成的着色更准确、更精细，尤其在复杂区域表现更佳。
• 失败案例揭示了语义一致性方面的挑战（如将苹果着色为蓝色），以及当输入轮廓与参考图标复杂度不匹配时产生的冲突。
• 系统成功通过自动化着色流程减少了设计师工作量，同时保持了对用户指定结构与风格的高保真度。