[论文解读] A Unified Framework for Generalizable Style Transfer: Style and Content Separation

Yexun Zhang, Ya Zhang+1 more|arXiv (Cornell University)|Jun 13, 2018

Generative Adversarial Networks and Image Synthesis参考文献 33被引用 6

一句话总结

该论文提出了一种统一的深度学习框架 EMD，通过显式分离风格和内容表征（使用专用编码器），实现了在字体类型和神经风格迁移中的可泛化风格迁移。该框架通过混合学习到的表征，利用混合器实现零样本迁移，仅需极少微调即可实现最先进水平的泛化性能，并在各种风格下保持稳健表现。

ABSTRACT

Image style transfer has drawn broad attention in recent years. However, most existing methods aim to explicitly model the transformation between different styles, and the learned model is thus not generalizable to new styles. We here propose a unified style transfer framework for both character typeface transfer and neural style transfer tasks leveraging style and content separation. A key merit of such framework is its generalizability to new styles and contents. The overall framework consists of style encoder, content encoder, mixer and decoder. The style encoder and content encoder are used to extract the style and content representations from the corresponding reference images. The mixer integrates the above two representations and feeds it into the decoder to generate images with the target style and content. During training, the encoder networks learn to extract styles and contents from limited size of style/content reference images. This learning framework allows simultaneous style transfer among multiple styles and can be deemed as a special `multi-task' learning scenario. The encoders are expected to capture the underlying features for different styles and contents which is generalizable to new styles and contents. Under this framework, we design two individual networks for character typeface transfer and neural style transfer, respectively. For character typeface transfer, to separate the style features and content features, we leverage the conditional dependence of styles and contents given an image. For neural style transfer, we leverage the statistical information of feature maps in certain layers to represent style. Extensive experimental results have demonstrated the effectiveness and robustness of the proposed methods.

研究动机与目标

• 解决现有风格迁移方法在缺乏泛化能力的问题，这些方法需为每种新风格重新训练。
• 开发一种统一框架，适用于字体类型迁移和神经风格迁移。
• 通过从参考图像中学习解耦的风格和内容表征，实现仅使用少量参考图像即可实现零样本风格迁移。
• 通过共享的多任务学习设置，实现对多种风格的同时迁移。

提出的方法

• 该框架使用风格编码器和内容编码器，从参考图像中提取解耦表征。
• 混合器层通过应用可学习统计量的自适应实例归一化（AdaIN），组合编码后的风格和内容特征。
• 在神经风格迁移中，风格由特定层激活图的统计特征（均值和方差）表示。
• 在字体类型迁移中，利用给定图像时风格与内容之间的条件依赖关系，实现特征解耦。
• 解码器通过从混合的风格-内容特征中重建生成最终图像。
• 模型通过感知损失、对抗损失和重建损失的组合进行端到端训练，以保持内容和风格保真度。

实验结果

研究问题

• RQ1 统一框架是否能在无需微调的情况下泛化到字体类型和神经风格迁移中的未见风格？
• RQ2 风格与内容解耦在仅使用少量参考图像的情况下，对实现零样本风格迁移的有效性如何？
• RQ3 该框架在多大程度上支持风格插值和风格-内容权衡？
• RQ4 与现有任意风格迁移方法相比，该方法在质量与泛化能力方面表现如何？

主要发现

• 所提出的 EMD 框架无需微调即可泛化到任意新风格和内容，实现零样本迁移能力。
• 该方法在泛化能力和鲁棒性方面优于大多数现有任意风格迁移基线模型，尽管在原始迁移质量上略逊于 TextureNet。
• 通过线性组合风格统计量，成功实现了风格插值和风格-内容权衡，支持风格之间的平滑过渡。
• 该框架在保持高质量细节和锐利笔画方面表现优异，尤其在字体类型迁移中，错误的风格化可能导致语义破坏。
• 大量消融实验证实，解耦的风格与内容表征对于泛化能力和灵活性至关重要。
• 该模型在成对和非成对图像翻译任务中均表现出色，证明其在不同风格迁移场景下的多功能性。