[论文解读] Semantic Style Transfer and Turning Two-Bit Doodles into Fine Artworks

Alex J. Champandard|arXiv (Cornell University)|Mar 5, 2016

Generative Adversarial Networks and Image Synthesis参考文献 7被引用 205

一句话总结

该论文通过在基于CNN的风格迁移中加入语义注释来提供内容感知的控制，从而提高质量并实现涂鸦到艺术作品的转换。

ABSTRACT

Convolutional neural networks (CNNs) have proven highly effective at image synthesis and style transfer. For most users, however, using them as tools can be a challenging task due to their unpredictable behavior that goes against common intuitions. This paper introduces a novel concept to augment such generative architectures with semantic annotations, either by manually authoring pixel labels or using existing solutions for semantic segmentation. The result is a content-aware generative algorithm that offers meaningful control over the outcome. Thus, we increase the quality of images generated by avoiding common glitches, make the results look significantly more plausible, and extend the functional range of these algorithms---whether for portraits or landscapes, etc. Applications include semantic style transfer and turning doodles with few colors into masterful paintings!

研究动机与目标

• 通过注入语义信息来解决神经风格迁移中的不可预测性和伪影。
• 实现对人像、风景等的内容感知风格迁移和基于分割的操作，扩展到更广泛的场景。
• 将像素标注/语义分割与基于补丁的风格迁移结合以提升可信度。
• 通过人工制作或自动生成的语义地图提供可控的用户机制。
• 通过类比（涂鸦到绘画）演示语义风格迁移与图像合成。

提出的方法

• 通过将语义映射通道 m^l 与激活 x^l 拼接并用参数 gamma 加权来增强卷积神经网络（CNN）。
• 采用带有语义感知最近邻匹配的基于补丁的风格迁移，使用归一化互相关。
• 用 M 个通道表示输入的语义映射，抽取以匹配特征分辨率并拼接形成 s^l。
• 使用语义增强特征中的最近邻补丁计算风格损失 E_s，形式如 E_s(s,s_s) = sum_i ||Psi_i(s) - Psi_NN(i)(s_s)||^2。
• 使用与现有基于补丁的实现兼容的增强架构；在优化过程中允许语义地图保持静态。
• 使用目标 E = alpha E_c + beta E_s 结合 L-BFGS 进行优化；gamma 控制语义影响；beta 控制风格强度。

实验结果

研究问题

• RQ1 与无语义信息的方法相比，加入语义地图是否降低伪影并提高风格迁移的可控性？
• RQ2 如何在不重写现有算法的前提下，将像素标注/语义分割整合到基于补丁的风格迁移？
• RQ3 风格权重 beta 和语义权重 gamma 如何影响内容准确性与风格保真度？
• RQ4 该方法在风格迁移中是否能更真实地处理人像和其他语义丰富区域（如头发、皮肤、背景）？
• RQ5 在生成过程中增加语义通道的计算和内存影响是什么？

主要发现

• 语义注释减少了缺陷和伪影，产生更可信的结果，尤其在人像和语义分割区域。
• 语义加权参数 gamma 提供对注释的可控影响；默认 gamma 大约为 50，使语义通道与激活之间达到平衡。
• 在人像结果中，使用语义映射时皮肤色调和背景颜色的迁移得到改进。
• 该方法保持与现有基于补丁的风格迁移算法的兼容性，并可通过调整 gamma 和 beta 在语义与非语义操作之间插值。
• 随着语义通道增多，内存和计算量增加（RGB 约额外 1% 内存，计算约额外 5%；像素级标注时增加更大）。
• 实验的渲染时间在 GTX 970 4 GB RAM 上大约数分钟（3–8 分钟，取决于分辨率）。