[论文解读] A Style-Aware Content Loss for Real-time HD Style Transfer

Artsiom Sanakoyeu, Dmytro Kotovenko+2 more|arXiv (Cornell University)|Jul 26, 2018

Generative Adversarial Networks and Image Synthesis参考文献 46被引用 13

一句话总结

本文提出了一种风格感知的内容损失，通过从零开始训练编码器-解码器网络，实现了实时、高分辨率的图像与视频风格迁移，避免了ImageNet偏差。与以往依赖单张风格图像或平均Gram矩阵的方法不同，该方法通过将相似风格的图像分组，学习风格如何影响内容，从而在感知质量上优于最先进方法，并实现更快的推理速度。

ABSTRACT

Recently, style transfer has received a lot of attention. While much of this research has aimed at speeding up processing, the approaches are still lacking from a principled, art historical standpoint: a style is more than just a single image or an artist, but previous work is limited to only a single instance of a style or shows no benefit from more images. Moreover, previous work has relied on a direct comparison of art in the domain of RGB images or on CNNs pre-trained on ImageNet, which requires millions of labeled object bounding boxes and can introduce an extra bias, since it has been assembled without artistic consideration. To circumvent these issues, we propose a style-aware content loss, which is trained jointly with a deep encoder-decoder network for real-time, high-resolution stylization of images and videos. We propose a quantitative measure for evaluating the quality of a stylized image and also have art historians rank patches from our approach against those from previous work. These and our qualitative results ranging from small image patches to megapixel stylistic images and videos show that our approach better captures the subtle nature in which a style affects content.

研究动机与目标

• 解决先前风格迁移方法依赖单张风格图像或ImageNet预训练网络所带来的局限性，这些方法引入偏差且无法捕捉风格多样性。
• 开发一种方法，通过利用单个艺术风格的多个代表性样本，学习风格如何影响内容。
• 实现实时、高分辨率的图像与视频风格迁移，无需依赖预训练的VGG网络或像素级RGB比较。
• 提供一种基于艺术史的系统性方法，将风格视为集体性、多维度的表达，而非单一图像。

提出的方法

• 提出一种与深度编码器-解码器网络联合训练的风格感知内容损失，其中编码器从风格化输出中重建内容，实现风格自适应的内容保留。
• 使用生成对抗网络（GAN）和判别器，以提升风格化输出的感知真实感。
• 从零开始训练编码器和生成器，避免使用ImageNet预训练，以消除目标检测偏差。
• 通过聚类将风格图像按风格相似性分组，确保在多个样本上一致学习单一艺术风格。
• 采用变换图像损失以实现从零开始的稳定训练，防止模式崩溃。
• 使用带有跳跃连接的残差U-Net架构，以在风格迁移过程中保留空间细节。

实验结果

研究问题

• RQ1 从零开始训练的风格感知内容损失是否能相比依赖预训练VGG网络的方法，提升风格迁移质量？
• RQ2 使用按相似性分组的多张代表性风格图像，与单图或平均Gram矩阵方法相比，能否提升风格化输出的保真度与真实感？
• RQ3 基于GAN的生成器结合学习到的内容损失，在无ImageNet偏差的前提下，能否实现实时、高分辨率的风格迁移？
• RQ4 在复杂风格变换下，该方法是否能更好地保留细粒度的内容细节（如边缘、纹理）？
• RQ5 人类专家能否可靠地区分本方法生成的输出与真实艺术品，从而表明其感知合理性？

主要发现

• 在专家感知测试中，本方法的欺骗率为39.3%，显著优于所有基线方法，包括CycleGAN（13.9%）和Gatys等人（14.7%）。
• 艺术史学家在49.5%的案例中将本方法评为更优，而Gatys等人仅为17.8%，表明其具有更强的感知质量。
• 模型在Titan X上实现每张768×768图像0.07秒的实时推理，仅需1043 MiB GPU显存，速度与显存效率均优于大多数基线方法。
• 消融实验表明，移除风格感知内容损失会导致训练不稳定与结果劣化，证实其关键作用。
• 使用预训练的VGG16编码器而非学习到的编码器会导致性能下降，证明了风格特定、端到端训练的优势。
• 使用未分组的风格图像（如所有高更作品）进行训练会导致模式崩溃与劣质结果，凸显风格分组的必要性。