[论文解读] EFANet: Exchangeable Feature Alignment Network for Arbitrary Style Transfer

Zhijie Wu, Chunjin Song+3 more|arXiv (Cornell University)|Nov 26, 2018

Generative Adversarial Networks and Image Synthesis参考文献 44被引用 4

一句话总结

EFANet 提出了一种新颖的端到端任意风格迁移框架，通过在深度特征空间中学习可交换特征，联合对齐内容与风格特征，显著提升了风格化质量和结构保留效果。通过引入去白化损失以净化内容特征，并实现多尺度融合，EFANet 在定性和定量基准测试中均优于先前方法，实现了实时、高保真度的风格迁移。

ABSTRACT

Style transfer has been an important topic both in computer vision and graphics. Since the seminal work of Gatys et al. first demonstrates the power of stylization through optimization in the deep feature space, quite a few approaches have achieved real-time arbitrary style transfer with straightforward statistic matching techniques. In this work, our key observation is that only considering features in the input style image for the global deep feature statistic matching or local patch swap may not always ensure a satisfactory style transfer; see e.g., Figure 1. Instead, we propose a novel transfer framework, EFANet, that aims to jointly analyze and better align exchangeable features extracted from content and style image pair. In this way, the style features from the style image seek for the best compatibility with the content information in the content image, leading to more structured stylization results. In addition, a new whitening loss is developed for purifying the computed content features and better fusion with styles in feature space. Qualitative and quantitative experiments demonstrate the advantages of our approach.

研究动机与目标

• 为解决现有风格迁移方法依赖固定或非自适应风格统计量所导致的复杂风格下出现失真或不一致的问题。
• 通过联合分析内容与风格图像，提取成对特定、兼容的风格特征，以提升风格化质量。
• 开发一种可在单张 GPU 上实现实时推理的方法，同时保留内容结构并精确模仿复杂风格模式。
• 通过一种新颖的去白化损失函数，去除内容特征中的风格伪影，提升特征融合效果。

提出的方法

• 引入特征交换模块，通过最大化内容与风格图像在深层特征空间中的共享表示，学习其共有的可交换风格特征。
• 应用一种新颖的去白化损失于内容特征，以去除风格模式，实现与风格特征更清晰的融合，提升兼容性。
• 在多个网络层（如 relu_4）中采用多尺度特征融合，以更好地捕捉全局与局部风格模式。
• 通过内容损失、风格损失与所提出的去白化损失联合训练网络，以优化风格化质量。
• 通过将迭代优化替换为前馈网络，实现端到端训练，支持单张 GPU 上的实时推理。
• 引入一个超参数 α 的混合策略，实现对风格化强度的控制，支持从内容图像到风格化图像的平滑过渡。

实验结果

研究问题

• RQ1 与使用孤立风格统计量的方法相比，联合分析内容与风格图像是否能显著提升任意风格迁移的质量与一致性？
• RQ2 学习内容与风格图像共有的可交换特征，是否能带来更优的对齐效果并生成更具结构化的风格化结果？
• RQ3 去白化损失是否能有效净化内容特征，去除残留风格模式，从而改善与目标风格特征的融合？
• RQ4 多尺度特征融合在保留生成图像中细粒度风格模式与空间结构方面有何影响？
• RQ5 所提出的框架在视觉质量与用户偏好方面，相较于现有实时风格迁移方法，优势程度如何？

主要发现

• 在成对比较中，EFANet 获得最高用户偏好得分（30 名受试者共 600 票），在感知质量方面全面优于所有基线方法。
• 采用共现特征学习的完整模型相比无可交换特征的消融基线，显著降低了风格损失，证明了其在风格匹配方面的优越性。
• 消融实验表明，若移除去白化损失，将导致轮廓模糊与黄褐色伪影，证实其在提升特征兼容性与视觉清晰度方面的重要作用。
• 多尺度策略显著提升了显著风格模式的捕捉能力；视觉对比显示，完整模型在纹理与色彩一致性方面优于单尺度方法。
• EFANet 在 12GB Titan V GPU 上实现实时推理，性能与 AdaIN 相当，但风格化质量更优。
• 通过混合参数（α）实现灵活的风格化控制，可在不重新训练的情况下实现从内容图像到风格化图像的平滑过渡。