[论文解读] Arbitrary Style Transfer in Real-time with Adaptive Instance Normalization

Xun Huang, Serge Belongie|arXiv (Cornell University)|Mar 20, 2017

Generative Adversarial Networks and Image Synthesis参考文献 46被引用 200

一句话总结

本文提出了一种使用自适应实例归一化（AdaIN）的实时神经风格迁移方法，通过将内容特征与风格统计量对齐，实现在无需微调的情况下任意风格迁移。该方法实现了与前馈网络相当的快速推理速度，同时支持动态风格控制、风格插值以及内容-风格权衡，且仅需一个模型。

ABSTRACT

Gatys et al. recently introduced a neural algorithm that renders a content image in the style of another image, achieving so-called style transfer. However, their framework requires a slow iterative optimization process, which limits its practical application. Fast approximations with feed-forward neural networks have been proposed to speed up neural style transfer. Unfortunately, the speed improvement comes at a cost: the network is usually tied to a fixed set of styles and cannot adapt to arbitrary new styles. In this paper, we present a simple yet effective approach that for the first time enables arbitrary style transfer in real-time. At the heart of our method is a novel adaptive instance normalization (AdaIN) layer that aligns the mean and variance of the content features with those of the style features. Our method achieves speed comparable to the fastest existing approach, without the restriction to a pre-defined set of styles. In addition, our approach allows flexible user controls such as content-style trade-off, style interpolation, color & spatial controls, all using a single feed-forward neural network.

研究动机与目标

• 克服Gatys等人原始风格迁移方法中缓慢的迭代优化问题。
• 消除应用新风格时需要微调的必要性，实现任意风格迁移。
• 在保持灵活性的同时，实现与前馈网络相当的实时推理速度。
• 在统一框架中集成用户可控的风格插值、内容-风格平衡以及空间/色彩调整。

提出的方法

• 提出自适应实例归一化（AdaIN），一种将内容特征统计量重写为匹配风格图像统计量的层。
• 利用风格特征的均值和方差对内容特征进行归一化，实现在单次前向传播中完成风格迁移。
• 在前馈网络的每个卷积层后应用AdaIN，支持端到端训练。
• 通过内容重建损失和风格重建损失训练网络，以在保留内容的同时实现风格迁移。
• 通过推理时修改风格特征统计量，实现灵活的风格控制。
• 通过融合多张风格图像的统计量，支持风格插值。

实验结果

研究问题

• RQ1 是否可以在不将模型固定于预定义风格集合的情况下实现实时风格迁移？
• RQ2 单一前馈网络是否能够支持高质量且高速的任意风格迁移？
• RQ3 是否可以将风格插值和内容-风格平衡等用户控制功能集成到统一框架中？
• RQ4 自适应实例归一化是否相比固定归一化层能实现更优的风格迁移效果？

主要发现

• 所提方法实现了实时推理速度，与现有最快的前馈网络相当。
• 无需微调即可实现任意风格迁移，支持任意输入风格图像。
• 通过简单的统计量操作，模型支持灵活的用户控制，如风格插值和内容-风格权衡。
• 自适应实例归一化在保留内容的同时有效实现风格迁移，经定性和定量评估验证。