[论文解读] A Closed-form Solution to Universal Style Transfer

Ming Lu, Hao Zhao+4 more|arXiv (Cornell University)|Jun 3, 2019

Generative Adversarial Networks and Image Synthesis参考文献 31被引用 10

一句话总结

本文提出了最优风格迁移（OST），通过将特征变换建模为最优传输问题，为通用风格迁移提供了一种闭式解。通过将内容损失最小化整合到最优传输框架中，OST在结构保持和视觉质量方面优于AdaIN和WCT，提供了一种理论基础坚实、可解析求解的非迭代替代方法，相较于迭代或学习型方法更具优势。

ABSTRACT

Universal style transfer tries to explicitly minimize the losses in feature space, thus it does not require training on any pre-defined styles. It usually uses different layers of VGG network as the encoders and trains several decoders to invert the features into images. Therefore, the effect of style transfer is achieved by feature transform. Although plenty of methods have been proposed, a theoretical analysis of feature transform is still missing. In this paper, we first propose a novel interpretation by treating it as the optimal transport problem. Then, we demonstrate the relations of our formulation with former works like Adaptive Instance Normalization (AdaIN) and Whitening and Coloring Transform (WCT). Finally, we derive a closed-form solution named Optimal Style Transfer (OST) under our formulation by additionally considering the content loss of Gatys. Comparatively, our solution can preserve better structure and achieve visually pleasing results. It is simple yet effective and we demonstrate its advantages both quantitatively and qualitatively. Besides, we hope our theoretical analysis can inspire future works in neural style transfer. Code is available at https://github.com/lu-m13/OptimalStyleTransfer.

研究动机与目标

• 为解决通用风格迁移中特征变换缺乏理论分析的问题，特别是针对该过程的理论建模。
• 将AdaIN和WCT等现有方法统一于统一的最优传输框架之下。
• 推导出一种闭式解，以同时最小化风格损失（Gatys）和内容损失，从而实现更好的结构保持。
• 提出一种理论基础坚实、非迭代的通用风格迁移方法，无需针对特定风格进行预训练。
• 通过严谨的理论构建，为未来神经风格迁移研究提供启发。

提出的方法

• 将通用风格迁移建模为内容特征与风格特征的多变量正态分布之间的最优传输问题。
• 假设特征分布之间存在线性变换关系，并在此假设下推导出闭式解。
• 将内容损失最小化（Gatys）整合进最优传输框架，以确保结构保真度。
• 推导出OST作为唯一闭式解，实现风格迁移与内容保持之间的平衡。
• 使用多尺度的VGG特征作为编码器，并训练解码器以将变换后的特征还原为图像。
• 通过最优传输约束隐式施加正交矩阵正则化，以确保解的唯一性与稳定性。

实验结果

研究问题

• RQ1 如何在启发式或学习型方法之外，对通用风格迁移中的特征变换进行理论形式化？
• RQ2 现有方法如AdaIN和WCT与统一最优传输框架之间的数学关系是什么？
• RQ3 能否为通用风格迁移推导出一种同时最小化风格损失与内容损失的闭式解？
• RQ4 将内容损失整合进最优传输公式是否能带来比现有方法更优的结构保持效果？
• RQ5 在实际应用中，最优传输公式在多变量正态分布假设之外的泛化能力如何？

主要发现

• 用户研究表明，OST的平均内容损失（1.05）低于WCT（2.67）和AdaIN（2.00），表明其具有更优的结构保持能力。
• OST在所有对比方法中获得最高的平均用户评分（3.07），证明其具有更优的视觉质量。
• OST在保持与WCT相近的风格损失（15.85 vs. 15.9）的同时，显著降低了内容损失，体现出风格与内容之间更优的平衡。
• 如图6所示（α=1），该方法在多样化的内容与风格组合中均表现出良好泛化能力，生成结果视觉上令人愉悦且无伪影。
• 跨风格的线性插值（图7）显示平滑过渡，证实了该方法的稳定性和一致性。
• 尽管有所改进，帧间视频风格迁移仍存在时间抖动现象，表明其在时间一致性方面仍存在局限。