[论文解读] Outline Colorization through Tandem Adversarial Networks

Kevin Frans|arXiv (Cornell University)|Apr 28, 2017

Computer Graphics and Visualization Techniques参考文献 8被引用 46

一句话总结

本文提出了一种并联生成对抗网络框架，将轮廓着色分为两个阶段：首先通过颜色预测网络从轮廓中预测出简化的颜色方案，然后通过条件GAN将轮廓和颜色方案映射到最终图像，实现着色。该方法即使在颜色方案杂乱或不完整的情况下，也能生成自然且清晰的结果，其在保真度和边界控制方面优于直接的端到端着色方法。

ABSTRACT

When creating digital art, coloring and shading are often time consuming tasks that follow the same general patterns. A solution to automatically colorize raw line art would have many practical applications. We propose a setup utilizing two networks in tandem: a color prediction network based only on outlines, and a shading network conditioned on both outlines and a color scheme. We present processing methods to limit information passed in the color scheme, improving generalization. Finally, we demonstrate natural-looking results when colorizing outlines from scratch, as well as from a messy, user-defined color scheme.

研究动机与目标

• 解决数字艺术创作中耗时的着色与着影问题。
• 克服直接端到端着色的局限性，后者常导致颜色形状失真或随机分布。
• 通过将颜色方案预测与着影解耦，提升泛化能力，使模型对不完美或杂乱的用户提供的颜色方案具有鲁棒性。
• 实现高质量、自然的着色效果，无论颜色方案由用户定义还是由模型预测。

提出的方法

• 为颜色预测网络和着影网络均采用全卷积、类似U-Net的架构，并引入残差连接。
• 将任务分解为两个阶段：第一阶段，颜色预测网络将轮廓映射为粗粒度的16×16像素块状颜色方案；第二阶段，着影网络从轮廓和颜色方案生成最终图像。
• 使用基于局部感受野的判别器，对着影网络实施对抗训练，以评估局部真实感。
• 引入一种数据增强技术：在训练过程中随机移除10×10的补丁并模糊颜色方案，以提升对不完整输入的鲁棒性。
• 对颜色预测网络使用L2损失，对着影网络使用对抗损失，以稳定训练过程并提升感知质量。
• 在推理阶段对像素值进行下采样，以保留所有输入信息，与训练阶段不同（训练时会移除补丁）。

实验结果

研究问题

• RQ1 与直接端到端映射相比，两阶段GAN架构是否能提升轮廓着色的质量与一致性？
• RQ2 当结合粗粒度颜色方案时，对抗训练在生成逼真着影与颜色布局方面有多有效？
• RQ3 当输入为噪声大、不完整或手绘的颜色方案时，着影网络的泛化能力在多大程度上得以保持？
• RQ4 仅从轮廓训练的颜色预测网络能否生成与着影网络配合后可产生高质量最终图像的颜色方案？
• RQ5 通过补丁移除和模糊等手段限制颜色方案的信息流，是否能提升模型的泛化能力与鲁棒性？

主要发现

• 并联网络生成的线条更清晰，颜色边界更准确，而直接端到端着色常出现颜色渗色与错位现象。
• 当输入为杂乱的手绘颜色方案时，着影网络表现出类似“填充”的行为，利用轮廓作为自然的颜色边界，并能推断出阴影，即使颜色方案中未包含黑色。
• 在纯白色颜色方案下，网络仍能生成合理的特征，如肤色、高光与阴影，表明其能从轮廓中推断出强结构信息。
• 颜色预测网络生成的结果具有一致性但多样性较低，测试图像间倾向于呈现相似的风格模式。
• 即使颜色方案不完美，该方法仍能成功生成自然、水彩画风格的效果，展现出强大的泛化能力。
• 补丁移除与模糊增强策略有效提升了鲁棒性，模拟了Dropout机制，促使着影网络在输入不完整时仍能保持泛化能力。