[论文解读] AesPA-Net: Aesthetic Pattern-Aware Style Transfer Networks

Kibeom Hong, Seogkyu Jeon+7 more|arXiv (Cornell University)|Jul 19, 2023

Generative Adversarial Networks and Image Synthesis被引用 5

一句话总结

AesPA-Net 提出了一种新颖的美学模式感知风格迁移框架，通过量化风格模式的重复性并利用其校准全局与局部风格特征，增强了基于注意力机制的风格化效果。该方法采用自监督重建任务和逐块风格损失，以减少伪影并提升语义对应性，在多种艺术风格下实现了最先进的风格保真度与内容保留效果。

ABSTRACT

To deliver the artistic expression of the target style, recent studies exploit the attention mechanism owing to its ability to map the local patches of the style image to the corresponding patches of the content image. However, because of the low semantic correspondence between arbitrary content and artworks, the attention module repeatedly abuses specific local patches from the style image, resulting in disharmonious and evident repetitive artifacts. To overcome this limitation and accomplish impeccable artistic style transfer, we focus on enhancing the attention mechanism and capturing the rhythm of patterns that organize the style. In this paper, we introduce a novel metric, namely pattern repeatability, that quantifies the repetition of patterns in the style image. Based on the pattern repeatability, we propose Aesthetic Pattern-Aware style transfer Networks (AesPA-Net) that discover the sweet spot of local and global style expressions. In addition, we propose a novel self-supervisory task to encourage the attention mechanism to learn precise and meaningful semantic correspondence. Lastly, we introduce the patch-wise style loss to transfer the elaborate rhythm of local patterns. Through qualitative and quantitative evaluations, we verify the reliability of the proposed pattern repeatability that aligns with human perception, and demonstrate the superiority of the proposed framework.

研究动机与目标

• 解决风格迁移中注意力机制反复聚焦于风格图像中有限、高重复性区域的问题，从而导致不协调的伪影。
• 提出一种新度量方法——模式重复性，用于量化风格图像中局部模式的节奏与重复性。
• 设计一个统一框架，基于模式重复性平衡全局与局部风格表达，实现更精确且更具艺术性的风格化。
• 通过引入自监督重建任务，改进注意力模块的学习，以促进更广泛、更具语义意义的对应关系。
• 通过使用基于模式重复性确定的最优块大小引导的逐块损失，替代标准风格损失，进一步优化风格迁移。

提出的方法

• 提出一种新度量——模式重复性，定义为块间相似性与图像内块相似性之比，用于量化风格图像中局部模式的重复频率。
• 设计一种风格化变换器，利用模式重复性得分作为门控机制，自适应融合基于注意力的模块与基于全局统计的模块的特征。
• 设计一种自监督重建任务，通过最大化增强输入与原始输入之间的特征级相似性，促使注意力模块学习更丰富、更具语义意义的对应关系。
• 用基于块的风格损失替代标准的 Gram 矩阵风格损失，其块大小由模式重复性识别出的最小重复单元决定。
• 利用最小重复块（记为 $\bar{I}^s_m$）计算单位风格表征 $\mathcal{G}(\phi_l(\bar{I}^s_m))$，以保留风格的全局节奏。
• 采用多尺度特征匹配策略，结合多层内容特征与风格化特征，以在增强风格表达的同时保持内容保真度。

实验结果

研究问题

• RQ1 模式重复性能否作为艺术风格全局节奏的可靠代理，与人类对美学重复性的感知保持一致？
• RQ2 基于模式重复性校准基于注意力的风格化与基于全局统计的风格化，能否提升艺术风格迁移的质量与多样性？
• RQ3 自监督重建任务在多大程度上增强了注意力机制学习任意内容-风格配对间有意义语义对应关系的能力？
• RQ4 由最小重复单元引导的逐块风格损失是否能减少幻觉现象，并改善细粒度纹理模式（如笔触或条纹）的迁移效果？
• RQ5 所提出的框架是否能在定性和定量评估中均超越当前最先进的基于注意力机制与基于全局统计的方法？

主要发现

• AesPA-Net 在风格迁移任务中达到最先进性能，优于五种基于注意力的方法与两种基于全局统计的方法，在风格损失与内容保真度指标上均表现更优。
• 所提出的模式重复性度量与人类感知高度相关，经用户研究验证，并在定量上与感知质量保持一致。
• AesPA-Net 最小化了参考图像与风格化图像之间模式重复性的 L1 距离，表明其准确传递了全局风格节奏。
• 消融实验证实，自监督任务、风格化变换器与逐块风格损失各组件均显著减少伪影并提升纹理保真度。
• AesPA-Net 在 512×512 分辨率下保持了具有竞争力的推理速度（与 SOTA 方法相当），支持实用的实时风格迁移。
• 定性结果表明，AesPA-Net 在包括点彩画、铅笔素描与条纹纹理等复杂风格中均实现了稳定、无伪影的风格化效果，即使在先前方法失效的情况下亦表现优异。