[论文解读] DRB-GAN: A Dynamic ResBlock Generative Adversarial Network for Artistic Style Transfer

Wenju Xu, Chengjiang Long+2 more|arXiv (Cornell University)|Aug 17, 2021

Generative Adversarial Networks and Image Synthesis参考文献 54被引用 6

一句话总结

本文提出 DRB-GAN，一种基于动态残差块的生成对抗网络，用于艺术风格迁移，该方法在单一模型中统一了任意风格迁移与集合风格迁移。通过将风格码建模为动态残差块中的共享参数，并采用风格类别感知注意力机制与空间窗口层-实例归一化，DRB-GAN 在两种风格迁移类型上均实现了最先进的视觉质量与效率。

ABSTRACT

The paper proposes a Dynamic ResBlock Generative Adversarial Network (DRB-GAN) for artistic style transfer. The style code is modeled as the shared parameters for Dynamic ResBlocks connecting both the style encoding network and the style transfer network. In the style encoding network, a style class-aware attention mechanism is used to attend the style feature representation for generating the style codes. In the style transfer network, multiple Dynamic ResBlocks are designed to integrate the style code and the extracted CNN semantic feature and then feed into the spatial window Layer-Instance Normalization (SW-LIN) decoder, which enables high-quality synthetic images with artistic style transfer. Moreover, the style collection conditional discriminator is designed to equip our DRB-GAN model with abilities for both arbitrary style transfer and collection style transfer during the training stage. No matter for arbitrary style transfer or collection style transfer, extensive experiments strongly demonstrate that our proposed DRB-GAN outperforms state-of-the-art methods and exhibits its superior performance in terms of visual quality and efficiency. Our source code is available at \color{magenta}{\url{https://github.com/xuwenju123/DRB-GAN}}.

研究动机与目标

• 解决现有方法将任意风格迁移与集合风格迁移视为独立任务的局限性。
• 通过在动态残差块中将风格码建模为共享参数，提升风格迁移质量。
• 通过在风格编码网络中引入风格类别感知注意力机制，增强特征表示学习能力。
• 实现在多样化艺术风格与不同图像分辨率下的一致性、高质量风格化效果。
• 设计一种风格集合条件判别器，以提升在任意与集合风格迁移中的泛化性与一致性。

提出的方法

• 在风格迁移网络中的多个动态残差块内，将风格码建模为动态卷积与AdaIN层的共享参数。
• 在风格编码网络中集成一个固定的VGG编码器与一个可学习的编码器，以提取风格感知特征。
• 应用风格类别感知注意力机制，利用从风格特征表示中提取的注意力权重，对风格码进行重校准。
• 使用空间窗口层-实例归一化（SW-LIN）解码器，通过可学习参数动态结合局部通道归一化与层归一化。
• 设计一种风格集合条件判别器，以同一艺术家的多张风格图像作为参考，强制约束特征空间的一致性。
• 通过对抗损失、感知损失以及分类损失（$\mathcal{L}_{cls}$）进行联合训练，以提升风格码聚类效果与泛化能力。

Figure 1: Examples of two types of artistic style transfer: (a) arbitrary style transfer and (b) collection style transfer. Note that the style image 1 and style collection 1 are from the artist Pablo Picasso , and the style image 2 and style collection 2 are from the artist Ukiyo-e . Our proposed D

实验结果

研究问题

• RQ1 统一的 GAN 框架能否有效同时实现任意与集合风格迁移？
• RQ2 在动态残差块中将风格码建模为共享参数，对风格迁移性能的提升程度如何？
• RQ3 风格类别感知注意力机制在多大程度上增强了学习到的风格码的判别能力？
• RQ4 SW-LIN 解码器如何促进伪影减少与高分辨率风格化？
• RQ5 风格集合条件判别器对风格迁移中的一致性与泛化能力有何影响？

主要发现

• DRB-GAN 在任意与集合风格迁移任务中均达到最先进性能，感知分数为 0.383，欺骗分数为 0.573。
• 消融实验表明，若移除 VGG 编码器，风格分数显著下降（从 0.383 降至 0.273），表明其在捕捉风格细节方面至关重要。
• 未使用 $\mathcal{L}_{cls}$ 损失的模型在风格一致性方面性能下降，风格分为 0.273，证实类别感知注意力对风格码聚类具有显著益处。
• SW-LIN 解码器优于单独使用实例归一化或层归一化，能有效避免伪影并保留高分辨率细节。
• DRB-GAN 对未见风格具有良好的泛化能力，定性结果表明，即使针对此前未见的艺术家，生成的风格化输出仍能准确匹配目标风格。
• 该模型在不同输入分辨率下保持一致的性能表现，展现出良好的鲁棒性与可扩展性。

Figure 2: An overview of the proposed DRB-GAN, which consists of a style encoding network, a style transfer network, and a discriminative network. The style code modeled as the shared parameter for dynamic ResBlocks is the output from the style encoding network, with a combination of a pre-trained V