[论文解读] ETNet: Error Transition Network for Arbitrary Style Transfer

Chunjin Song, Zhijie Wu+3 more|arXiv (Cornell University)|Oct 26, 2019

Generative Adversarial Networks and Image Synthesis被引用 11

一句话总结

ETNet 提出了一种用于任意风格迁移的迭代错误校正框架，通过新颖的错误传播网络（ETNet）实现空间与尺度感知的错误传播，逐步优化风格化图像。通过将风格化建模为渐进式错误校正过程，ETNet 在语义一致性与风格细节方面表现更优，在基准数据集上的定量与定性评估中均优于当前最先进方法，风格损失为 7.1984，用户偏好得分为 33.3%。

ABSTRACT

Numerous valuable efforts have been devoted to achieving arbitrary style transfer since the seminal work of Gatys et al. However, existing state-of-the-art approaches often generate insufficiently stylized results under challenging cases. We believe a fundamental reason is that these approaches try to generate the stylized result in a single shot and hence fail to fully satisfy the constraints on semantic structures in the content images and style patterns in the style images. Inspired by the works on error-correction, instead, we propose a self-correcting model to predict what is wrong with the current stylization and refine it accordingly in an iterative manner. For each refinement, we transit the error features across both the spatial and scale domain and invert the processed features into a residual image, with a network we call Error Transition Network (ETNet). The proposed model improves over the state-of-the-art methods with better semantic structures and more adaptive style pattern details. Various qualitative and quantitative experiments show that the key concept of both progressive strategy and error-correction leads to better results. Code and models are available at https://github.com/zhijieW94/ETNet.

研究动机与目标

• 为解决单次生成风格迁移方法在复杂内容-风格配对下难以保持语义结构与风格模式的问题。
• 通过将任务分解为多个渐进式优化阶段，实现错误的逐步校正，从而提升风格化质量。
• 通过学习空间与多尺度表示中的错误特征，实现更好的泛化性与适应性，以支持任意风格迁移。
• 通过级联式金字塔结构优化，实现内容保留与风格迁移保真度之间的平衡。

提出的方法

• ETNet 使用基于 VGG 的编码器提取深层特征，用于计算风格化输出与真实内容-风格配对之间的感知损失。
• 错误特征通过当前风格化结果与真实值之间的差异计算得出，并利用基于相似度的注意力机制在图像中传播。
• 多尺度错误传播模块利用非局部模块从粗到细地传递错误，以捕捉长距离依赖关系。
• ETNet 中的解码器将处理后的错误特征反投影为残差图像，并将其加到当前风格化图像上，实现迭代优化。
• 该框架采用拉普拉斯金字塔结构，实现高效的粗到细优化与多尺度错误传播。
• 运行时控制机制通过参数 α 插值内容与风格错误特征，实现可调节的风格化强度。

实验结果

研究问题

• RQ1 迭代错误校正是否能够超越单次生成方法，显著提升任意风格迁移的质量？
• RQ2 如何在空间与尺度空间中有效传播错误特征，以同时保留语义结构与风格纹理？
• RQ3 自校正机制是否能在感知质量与用户偏好方面超越现有前馈式风格迁移模型？
• RQ4 同一训练模型在多大程度上可用于优化其他风格迁移方法的输出？
• RQ5 在复杂风格迁移场景中，该方法如何在内容保真度与风格适配性之间实现平衡？

主要发现

• 在基准数据集上，ETNet 的风格损失为 7.1984，显著低于 WCT（26.1967）、Avatar-Net（42.8833）与 AAMS（40.2651），表明其在捕捉风格模式方面表现更优。
• 在用户偏好研究中，ETNet 获得 33.3% 的投票，优于 AdaIN（16.1%）、WCT（26.4%）、Avatar-Net（13.0%）与 AAMS（11.2%），证明其具有更强的感知质量。
• ETNet 每张图像推理时间为 0.5680 秒，快于 WCT（0.7590 秒）与 Avatar-Net（1.1422 秒），且与最快方法 AdaIN（0.1484 秒）相比仍具竞争力。
• ETNet 能够成功优化 AdaIN 与 WCT 的输出，改善颜色分布一致性，并增强可见的笔触纹理。
• 运行时控制参数 α 支持平滑调节风格化强度，从细微到强烈风格化，无需重新训练。
• 视觉结果表明，即使在高度复杂的风格图像下，ETNet 仍能保持语义结构与纹理一致性，而基线方法常引入失真。