[论文解读] Adjustable Real-time Style Transfer

Mohammad Babaeizadeh, Golnaz Ghiasi|arXiv (Cornell University)|Nov 21, 2018

Generative Adversarial Networks and Image Synthesis参考文献 8被引用 13

一句话总结

本文提出了一种实时可调风格迁移方法，允许用户在推理阶段通过调节损失权重参数来修改风格化输出，而无需重新训练，从而实现多样化、用户可控的结果。该方法使用可学习的适配器网络动态调整特征损失的贡献，实现对风格化强度和风格分布的手动或随机控制，同时保持内容和风格的一致性。

ABSTRACT

Artistic style transfer is the problem of synthesizing an image with content similar to a given image and style similar to another. Although recent feed-forward neural networks can generate stylized images in real-time, these models produce a single stylization given a pair of style/content images, and the user doesn't have control over the synthesized output. Moreover, the style transfer depends on the hyper-parameters of the model with varying "optimum" for different input images. Therefore, if the stylized output is not appealing to the user, she/he has to try multiple models or retrain one with different hyper-parameters to get a favorite stylization. In this paper, we address these issues by proposing a novel method which allows adjustment of crucial hyper-parameters, after the training and in real-time, through a set of manually adjustable parameters. These parameters enable the user to modify the synthesized outputs from the same pair of style/content images, in search of a favorite stylized image. Our quantitative and qualitative experiments indicate how adjusting these parameters is comparable to retraining the model with different hyper-parameters. We also demonstrate how these parameters can be randomized to generate results which are diverse but still very similar in style and content.

研究动机与目标

• 解决实时风格迁移模型中缺乏用户控制的问题，这些模型对每个内容/风格对仅生成单一固定的风格化结果。
• 克服为获得理想风格化效果而对不同超参数重新训练模型的不切实际性。
• 在推理阶段实现实时调整损失贡献，从而从同一输入对探索多样化风格化效果。
• 通过随机参数调节提供一种机制，生成多样化但风格一致的输出。
• 通过允许在运行时控制损失加权，将超参数敏感性与模型重新训练解耦。

提出的方法

• 引入一个辅助网络 $\Lambda$，其输入为可调参数 $\boldsymbol{\alpha}_c$ 和 $\boldsymbol{\alpha}_s$，用于预测主风格化网络 $T$ 的归一化参数 $\gamma_{\boldsymbol{\alpha}}$ 和 $\beta_{\boldsymbol{\alpha}}$。
• 通过将层间损失乘以相应的 $\boldsymbol{\alpha}$ 参数，修改风格和内容损失的计算方式，从而实现对损失贡献的动态控制。
• 通过最小化由 $\boldsymbol{\alpha}$ 调制的加权内容与风格损失之和，联合训练风格化网络 $T$ 和适配器网络 $\Lambda$。
• 在推理阶段启用用户可调的 $\boldsymbol{\alpha}$ 值，从而在不重新训练的情况下探索不同风格化效果。
• 通过在推理阶段随机化 $\boldsymbol{\alpha}$ 参数，提升输出多样性，从同一内容/风格对生成多种不同结果。
• 通过在内容图像上添加小幅度噪声（由学习得到的掩码控制），进一步增强风格化输出的空间变化性，从而提升输出多样性。

实验结果

研究问题

• RQ1 用户是否能够仅通过一次模型训练，就在不重新训练的情况下，从单一内容/风格对生成多样化且高质量的风格化结果？
• RQ2 在已训练网络中实时调整损失权重，是否能够产生与使用不同超参数重新训练所获得的风格化效果相媲美？
• RQ3 模型如何通过参数随机化生成多样化但风格一致的输出？
• RQ4 在结合参数随机化时，通过在内容图像上添加噪声是否能增强风格化输出的空间变化性？
• RQ5 所提出的方法是否可扩展至多风格迁移或其他具有类似损失架构的视觉任务？

主要发现

• 所提方法可通过用户定义的参数 $\boldsymbol{\alpha}_c$ 和 $\boldsymbol{\alpha}_s$ 实现实时调整风格化输出，其结果与使用不同超参数重新训练所获得的效果相当。
• 在推理阶段随机化 $\boldsymbol{\alpha}$ 参数可生成多样化风格化结果，且在内容和风格上保持一致性，如定性对比所示。
• 通过学习得到的掩码在内容图像上添加噪声，可增强风格化输出的空间变化性，提升多样性，同时不损失风格保真度。
• 与在训练阶段向风格参数添加噪声的基线方法相比，本方法表现更优：后者在引入噪声后或无法保持风格，或失去多样性。
• 定性对比显示，与 StyleNet [32] 相比，所提方法生成的风格化结果更具多样性，差异体现在整体风格化程度上，而不仅仅是细微细节。
• 该方法具有良好的泛化能力，可扩展至多风格迁移、其他损失函数，甚至可能适用于需要动态超参数控制的其他深度学习任务。