[论文解读] Rethinking and Improving the Robustness of Image Style Transfer

Pei Wang, Yijun Li+1 more|arXiv (Cornell University)|Apr 8, 2021

Generative Adversarial Networks and Image Synthesis参考文献 30被引用 10

一句话总结

本文指出，ResNet架构中的残差连接会降低特征熵，从而在先进网络设计下仍导致风格迁移质量下降。通过在特征激活上应用softmax变换，作者提升了特征熵，并显著增强了风格迁移的鲁棒性——即使使用随机权重也能实现——表明网络架构的选择比学习到的特征对风格迁移的影响更大。

ABSTRACT

Extensive research in neural style transfer methods has shown that the correlation between features extracted by a pre-trained VGG network has a remarkable ability to capture the visual style of an image. Surprisingly, however, this stylization quality is not robust and often degrades significantly when applied to features from more advanced and lightweight networks, such as those in the ResNet family. By performing extensive experiments with different network architectures, we find that residual connections, which represent the main architectural difference between VGG and ResNet, produce feature maps of small entropy, which are not suitable for style transfer. To improve the robustness of the ResNet architecture, we then propose a simple yet effective solution based on a softmax transformation of the feature activations that enhances their entropy. Experimental results demonstrate that this small magic can greatly improve the quality of stylization results, even for networks with random weights. This suggests that the architecture used for feature extraction is more important than the use of learned weights for the task of style transfer.

研究动机与目标

• 探究为何最先进的轻量级网络（如ResNet）在神经风格迁移中表现不佳，尽管其特征表示能力强大。
• 识别使用ResNet特征相比VGG导致风格迁移质量下降的根本原因。
• 提出一种简单的架构修改方法，以提升特征熵并改善风格迁移的鲁棒性。
• 证明网络架构而非学习到的权重，是实现高质量风格迁移的关键因素。

提出的方法

• 作者分析了多种网络的特征图，通过测量其熵值来识别导致风格迁移性能下降的架构原因。
• 他们发现ResNet中的残差连接会产生低熵特征图，这不利于风格迁移。
• 对特征激活应用softmax变换，以提高其熵值并增强风格建模的可区分性。
• 该方法应用于预训练和随机初始化的网络，以测试其泛化能力和鲁棒性。
• 在多种架构和数据集上评估该方法，比较添加与不添加softmax变换时的风格迁移质量。

实验结果

研究问题

• RQ1 为何在使用现代轻量级网络（如ResNet）的特征时，神经风格迁移性能会下降？
• RQ2 ResNet的何种架构特性导致其在特征学习能力强的情况下仍表现不佳于风格迁移？
• RQ3 通过激活变换提升特征熵，是否能恢复或增强非VGG网络中的风格迁移质量？
• RQ4 与学习到的权重相比，网络架构在风格迁移性能中究竟有多大的影响？

主要发现

• ResNet架构中的残差连接会产生低熵特征图，这不利于捕捉视觉风格。
• 对特征激活应用softmax变换可显著提高其熵值，并改善风格迁移质量。
• 所提出的方法即使在随机初始化权重下也能实现高质量的风格迁移结果，表明架构比预训练特征更为关键。
• 该改进在多种架构和数据集上均表现一致，展现出广泛的鲁棒性。
• 在非理想设置（如轻量级或未训练网络）下，该方法优于标准的VGG基风格迁移。