[论文解读] ArtFlow: Unbiased Image Style Transfer via Reversible Neural Flows

Jie An, Siyu Huang+4 more|arXiv (Cornell University)|Mar 31, 2021

Generative Adversarial Networks and Image Synthesis参考文献 61被引用 21

一句话总结

ArtFlow 提出了一种基于可逆神经流的框架，通过实现无损、无偏的前向与反向推理，消除了通用风格迁移中的内容泄露问题。它用一种可学习的、可逆的网络实现的投影-传输-还原流水线，取代了基于自编码器的特征提取方法，在多次风格迁移迭代中仍能保持性能无退化，达到当前最优水平。

ABSTRACT

Universal style transfer retains styles from reference images in content images. While existing methods have achieved state-of-the-art style transfer performance, they are not aware of the content leak phenomenon that the image content may corrupt after several rounds of stylization process. In this paper, we propose ArtFlow to prevent content leak during universal style transfer. ArtFlow consists of reversible neural flows and an unbiased feature transfer module. It supports both forward and backward inferences and operates in a projection-transfer-reversion scheme. The forward inference projects input images into deep features, while the backward inference remaps deep features back to input images in a lossless and unbiased way. Extensive experiments demonstrate that ArtFlow achieves comparable performance to state-of-the-art style transfer methods while avoiding content leak.

研究动机与目标

• 解决当前最先进通用风格迁移方法中存在的内容泄露现象，即重复风格迁移导致内容保真度下降的问题。
• 识别现有方法中内容泄露的根本原因，包括解码器和风格迁移模块中的重建误差与训练偏差。
• 开发一种可逆的、无偏的特征提取与重建机制，以实现在多轮迭代中公平比较与鲁棒的风格迁移。
• 通过在前向与反向推理中均利用可逆神经流，实现无损的内容-风格分离与还原。
• 在消除迭代风格迁移中内容失真问题的同时，实现与最先进方法相当的视觉质量。

提出的方法

• 提出一种基于神经流的投影流网络（PFN），受 GLOW 启发，采用可逆的 $1\times1$ 卷积、激活归一化和仿射耦合层。
• 实现投影-传输-还原流水线：前向推理将内容图像与风格图像映射为深层特征，随后进行无偏风格迁移，再通过反向推理无损重建图像。
• 利用 PFN 实现前向与反向推理，确保特征提取与图像恢复过程无重建误差与偏差。
• 将 PFN 应用于替换现有方法（如 AdaIN、WCT、Avatar-Net）中的 VGG19 基自编码器，无需修改风格迁移模块架构，即可实现无偏风格迁移。
• 对风格迁移模块的偏差进行理论与实证分析，发现 Avatar-Net 的风格装饰器偏向风格，而 AdaIN 与 WCT 无偏差。
• 将无偏模块（AdaIN、WCT）与 PFN 集成，形成 ArtFlow，确保在多轮风格迁移迭代中实现公平且稳定的性能表现。

Figure 1: Content leak visualization. Existing style transfer methods are not effective to preserve image content after several rounds of stylization process as shown in (d), although their performance is state-of-the-art in the first round as shown in (c).

实验结果

研究问题

• RQ1 现有通用风格迁移方法在重复风格迁移过程中导致内容泄露的根本原因是什么？
• RQ2 可逆、可逆神经网络能否消除特征提取与图像恢复中的重建误差与偏差？
• RQ3 所提出的基于 PFN 的框架在多次风格迁移迭代中，与基于自编码器的方法相比，其内容保真度表现如何？
• RQ4 在 AdaIN、WCT、Avatar-Net 中，哪些风格迁移模块本质上是无偏的？这在 ArtFlow 框架中的性能表现如何？
• RQ5 ArtFlow 是否能在消除内容泄露的同时，实现与最先进方法相当的视觉质量？

主要发现

• ArtFlow 在多次风格迁移（如 20 轮）后仍能有效防止内容泄露，而原始的 AdaIN、WCT 与 Avatar-Net 均表现出严重的内容退化。
• 基于 PFN 的框架实现了无损且无偏的图像重建，表现为重建内容特征的清晰度与保真度显著优于 AdaIN 与 WCT。
• 用户研究表明，ArtFlow 在 799 个投票中获得 314 票，排名所有方法最高，表明其视觉质量与最先进方法相当或更优。
• 理论与实证分析证实，AdaIN 与 WCT 模块无偏差，而 Avatar-Net 的风格装饰器存在对风格的偏向，解释了其即使使用 PFN 仍持续出现内容泄露的原因。
• ArtFlow+WCT 比原始 WCT 更快，因去除了多层级风格迁移的计算开销；ArtFlow+AdaIN 在保持高性能的同时避免了内容泄露。
• 通过 ArtFlow 实现的内容-风格分离，生成了更清晰、更锐利的内容表征，且风格伪影极少；而 AdaIN 与 WCT 仍保留了残余风格效应。

Figure 2: A comparison between the auto-encoder based style transfer framework and the proposed ArtFlow framework.