[论文解读] AesUST: Towards Aesthetic-Enhanced Universal Style Transfer

Zhizhong Wang, Zhanjie Zhang+5 more|arXiv (Cornell University)|Aug 27, 2022

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

AesUST 提出了一种新颖的美学增强型通用风格迁移框架，通过专用的美学判别器和美学感知风格注意力（AesSA）模块，将学习到的人类喜爱的美学特征融入风格迁移，显著提升了视觉和谐感与真实感。实验与用户研究表明，AesUST 生成的结果与真实艺术家创作的画作几乎无法区分，在感知质量与美学真实感方面均优于当前最先进方法。

ABSTRACT

Recent studies have shown remarkable success in universal style transfer which transfers arbitrary visual styles to content images. However, existing approaches suffer from the aesthetic-unrealistic problem that introduces disharmonious patterns and evident artifacts, making the results easy to spot from real paintings. To address this limitation, we propose AesUST, a novel Aesthetic-enhanced Universal Style Transfer approach that can generate aesthetically more realistic and pleasing results for arbitrary styles. Specifically, our approach introduces an aesthetic discriminator to learn the universal human-delightful aesthetic features from a large corpus of artist-created paintings. Then, the aesthetic features are incorporated to enhance the style transfer process via a novel Aesthetic-aware Style-Attention (AesSA) module. Such an AesSA module enables our AesUST to efficiently and flexibly integrate the style patterns according to the global aesthetic channel distribution of the style image and the local semantic spatial distribution of the content image. Moreover, we also develop a new two-stage transfer training strategy with two aesthetic regularizations to train our model more effectively, further improving stylization performance. Extensive experiments and user studies demonstrate that our approach synthesizes aesthetically more harmonious and realistic results than state of the art, greatly narrowing the disparity with real artist-created paintings. Our code is available at https://github.com/EndyWon/AesUST.

研究动机与目标

• 为解决通用风格迁移中的美学不真实问题，即生成图像存在不和谐图案与伪影。
• 通过引入艺术家创作画作中的通用人类喜爱美学特征，提升风格化图像的真实感与视觉和谐感。
• 开发一种在内容保留与风格迁移之间实现平衡，同时确保美学一致性的方法。
• 采用两阶段策略结合双重美学正则化，实现模型的有效训练。
• 缩小 AI 生成的风格化图像与真实艺术家创作艺术品之间的感知差距。

提出的方法

• 引入一个在大量艺术家创作画作上训练的美学判别器，以提取通用的人类喜爱美学特征。
• 提出美学感知风格注意力（AesSA）模块，根据风格图像的全局美学分布与内容图像的局部语义空间分布，动态整合风格模式。
• 采用两阶段训练策略：第一阶段通过内容与风格重建预训练生成器，第二阶段通过对抗性损失与美学正则化进行微调。
• 应用双重美学正则化：其一用于保持内容结构与风格迁移质量，其二用于提升感知风格模式的保真度。
• 使用对抗性损失，通过区分真实画作与生成图像，促使输出结果更真实、无伪影。
• 不仅将美学判别器用作判别器，还将其作为特征提取器，用于引导风格整合。

Figure 2. Overview of our proposed AesUST. Note that we apply a two-stage transfer training strategy with a transfer learning fashion: (1) At stage I, the aesthetic discriminator only acts as the discriminator, and we pre-train the generator (AesSA module and decoder) using VGG features only. (2) At

实验结果

研究问题

• RQ1 学习到的美学判别器能否有效从艺术家创作的画作中捕捉通用的人类喜爱特征，以指导风格迁移？
• RQ2 如何将美学特征整合到风格迁移过程中，以提升视觉和谐感与真实感？
• RQ3 所提出的结合美学正则化的两阶段训练策略是否优于端到端训练，带来更优的风格化性能？
• RQ4 AesUST 在多大程度上缩小了 AI 生成的风格化图像与真实艺术家创作画作之间的感知差距？
• RQ5 AesSA 模块能否在风格迁移中灵活平衡全局美学一致性与局部语义保真度？

主要发现

• 在用户研究中，AesUST 获得最高的欺骗得分（87.4%），最接近真实画作的得分（89.2%），表明其生成结果与真实艺术品几乎无法区分。
• 在 A/B 偏好测试中，AesUST 获得 68.7% 的投票，显著优于 SOTA 方法如 AdaIN（52.3%）与 LST（55.1%），用户偏好度更高。
• 消融研究证实，若移除对抗性损失，将导致严重伪影与不和谐图案，验证了其在提升真实感方面的作用。
• 移除第一重美学正则化（L_AR1）会同时降低内容保留与风格迁移质量，而移除第二重（L_AR2）则会降低风格保真度，证明二者均不可或缺。
• 两阶段训练策略至关重要：第一阶段预训练使风格整合更有效，第二阶段在美学引导下微调显著提升了最终质量。
• AesUST 在 512×512 图像上实现约 25 FPS 的实时推理速度，与 AdaIN、LST 等 SOTA 方法效率相当。

Figure 3. Aesthetic-aware style-attention (AesSA) module. $F_{c}$ , $F_{s}$ , and $F_{a}$ are content, style, and aesthetic features, respectively. “ $Norm$ ” denotes the mean-variance channel-wise normalization.