[论文解读] Meta Networks for Neural Style Transfer

Falong Shen, Shuicheng Yan+1 more|arXiv (Cornell University)|Sep 13, 2017

Generative Adversarial Networks and Image Synthesis参考文献 23被引用 20

一句话总结

该论文提出一种元网络，可在单次前向传播中生成针对特定风格的图像转换网络，实现在GPU上仅需19ms即可完成任意新风格的实时神经风格迁移。该方法通过直接生成参数替代迭代优化，生成的模型仅449KB，适合移动端部署，同时保持高质量结果，并可通过学习到的网络流形实现风格插值与生成。

ABSTRACT

In this paper we propose a new method to get the specified network parameters through one time feed-forward propagation of the meta networks and explore the application to neural style transfer. Recent works on style transfer typically need to train image transformation networks for every new style, and the style is encoded in the network parameters by enormous iterations of stochastic gradient descent. To tackle these issues, we build a meta network which takes in the style image and produces a corresponding image transformations network directly. Compared with optimization-based methods for every style, our meta networks can handle an arbitrary new style within $19ms$ seconds on one modern GPU card. The fast image transformation network generated by our meta network is only 449KB, which is capable of real-time executing on a mobile device. We also investigate the manifold of the style transfer networks by operating the hidden features from meta networks. Experiments have well validated the effectiveness of our method. Code and trained models has been released https://github.com/FalongShen/styletransfer.

研究动机与目标

• 消除神经风格迁移中针对每种风格进行迭代优化的需求。
• 实现在无需微调的情况下，对任意新风格实现实时风格迁移。
• 提供图像转换网络的显式、可微表示，以实现可控风格操作。
• 通过隐藏状态插值探索网络流形的几何结构。

提出的方法

• 通过冻结的VGG-16主干网络和一系列全连接层，训练元网络将风格图像映射为图像转换网络的参数。
• 元网络的瓶颈层将风格编码为潜在向量，该向量直接生成图像转换网络的卷积滤波器权重。
• 图像转换网络由带有实例归一化和ReLU激活的残差块构成，推理时仅粉色区域的滤波器由元网络生成。
• 通过内容图像和风格图像上的经验风险最小化进行端到端训练，优化元网络。
• 在元网络的隐藏空间中进行线性插值，可实现两种风格之间的平滑过渡。
• 从隐藏空间中随机采样可生成新颖风格，表明学习到的流形具有多样性和连续性。

实验结果

研究问题

• RQ1 元网络是否能在单次前向传播中生成高质量、风格特定的图像转换网络，从而绕过迭代优化？
• RQ2 与基于SGD的方法相比，元网络生成的网络在速度和视觉质量方面表现如何？
• RQ3 元网络的隐藏表示是否支持有意义的风格插值与生成？
• RQ4 元网络所诱导的网络流形具有怎样的结构与几何特性？
• RQ5 生成的图像转换网络能否在移动设备上高效部署？

主要发现

• 元网络在单张GPU上仅需19ms即可生成风格特定的图像转换网络，实现真正的实时推理。
• 生成的图像转换网络仅449KB，可在移动设备上实现实时运行。
• 该方法在视觉质量上与基于SGD的优化方法相当，而后者通常每种风格需4小时训练时间。
• 在元网络隐藏空间中的线性插值可生成合理且自然的中间风格，表明网络流形具有连续性。
• 从隐藏空间中随机采样可生成多样、真实且风格一致的纹理，表明风格解耦效果良好。
• 通过将内容图像输入元网络，可获得身份变换网络，结合插值可实现对风格强度的可控调节。