[论文解读] Attention-aware Multi-stroke Style Transfer

Yuan Yao, Jianqiang Ren+4 more|arXiv (Cornell University)|Jan 16, 2019

Generative Adversarial Networks and Image Synthesis参考文献 29被引用 12

一句话总结

本文提出了一种注意力感知的多笔触风格迁移模型，将自注意力机制整合到风格无关的自编码器中，以生成具有空间注意力一致性和灵活多笔触融合的风格化图像。通过利用多尺度风格替换和注意力引导的融合，该方法实现了自动的空间笔触尺寸控制，并在保持实时推理性能的同时，生成了与最先进方法相当的高质量、多样化风格化图像。

ABSTRACT

Neural style transfer has drawn considerable attention from both academic and industrial field. Although visual effect and efficiency have been significantly improved, existing methods are unable to coordinate spatial distribution of visual attention between the content image and stylized image, or render diverse level of detail via different brush strokes. In this paper, we tackle these limitations by developing an attention-aware multi-stroke style transfer model. We first propose to assemble self-attention mechanism into a style-agnostic reconstruction autoencoder framework, from which the attention map of a content image can be derived. By performing multi-scale style swap on content features and style features, we produce multiple feature maps reflecting different stroke patterns. A flexible fusion strategy is further presented to incorporate the salient characteristics from the attention map, which allows integrating multiple stroke patterns into different spatial regions of the output image harmoniously. We demonstrate the effectiveness of our method, as well as generate comparable stylized images with multiple stroke patterns against the state-of-the-art methods.

研究动机与目标

• 解决现有风格迁移方法中内容图像与风格化图像之间空间注意力不一致的问题。
• 实现在不同图像区域中具有不同细节水平的灵活多笔触融合。
• 在无需手工设计掩码或逐区域优化的情况下，实现笔触尺寸的自动空间控制。
• 在支持多种笔触模式的任意风格迁移的同时，保持实时推理速度。

提出的方法

• 将自注意力机制集成到风格无关自编码器的瓶颈层中，以学习内容图像中的全局和长距离依赖关系。
• 通过重建训练从内容图像中提取注意力图，突出显示显著且语义相关的区域。
• 通过用多尺度风格特征替换高层内容特征，实现多尺度风格替换，生成不同的笔触图案图。
• 采用可学习的融合策略，利用注意力图作为空间权重图，对不同区域进行特定融合，组合多个笔触图案。
• 在注意力滤波器中使用高斯方差参数，自动控制笔触尺寸的空间粒度。
• 采用前馈网络架构，实现可控制笔触数量和细节水平的实时推理。

实验结果

研究问题

• RQ1 自注意力机制能否改善神经风格迁移中内容图像与风格化图像之间的空间注意力一致性？
• RQ2 如何在不同图像区域中灵活融合具有不同尺寸的多组笔触图案？
• RQ3 能否在无需人工掩码或区域特定处理的情况下，自动根据图像显著性调整笔触尺寸？
• RQ4 在保持实时性能的前提下，多笔触融合在笔触数量和细节水平方面可控制到何种程度？

主要发现

• 所提方法实现了注意力一致性，确保在风格化输出中保留显著区域，并与内容图像在空间上对齐。
• 对于256×256图像，该方法平均耗时0.80秒；对于512×512图像，耗时0.94秒，推理速度优于Style-Swap，与Avatar-Net相当。
• 该方法实现了自动的空间笔触尺寸控制：显著区域（如人物）应用细笔触，中等显著区域（如山脉）应用中等笔触，低显著区域（如天空）应用粗笔触。
• 随着笔触数量增加（最多8个），推理时间呈受控的线性增长（512×512图像从0.92秒增至1.18秒），表明具有良好的可扩展性。
• 注意力图实现了区域特定的融合权重，使多组笔触图案能够和谐融合，无视觉伪影或失真。
• 该模型生成的风格化图像具有多样且感知上合理的笔触图案，视觉效果与最先进方法（包括AdaIN、WCT和Avatar-Net）相当。