[论文解读] Consistent Style Transfer

Xuan Luo, Zhen Han+2 more|arXiv (Cornell University)|Jan 6, 2022

Generative Adversarial Networks and Image Synthesis被引用 14

一句话总结

本文提出了一种新型框架——渐进式注意力流形对齐（PAMA），用于实现一致的任意风格迁移。该方法通过注意力机制和空间感知插值，迭代对齐内容与风格特征流形。通过逐步优化语义区域间的对应关系并减少视觉伪影，PAMA 在 512px 图像上实现了 101 FPS 的实时性能，并达到当前最优的风格迁移质量。

ABSTRACT

Recently, attentional arbitrary style transfer methods have been proposed to achieve fine-grained results, which manipulates the point-wise similarity between content and style features for stylization. However, the attention mechanism based on feature points ignores the feature multi-manifold distribution, where each feature manifold corresponds to a semantic region in the image. Consequently, a uniform content semantic region is rendered by highly different patterns from various style semantic regions, producing inconsistent stylization results with visual artifacts. We proposed the progressive attentional manifold alignment (PAMA) to alleviate this problem, which repeatedly applies attention operations and space-aware interpolations. The attention operation rearranges style features dynamically according to the spatial distribution of content features. This makes the content and style manifolds correspond on the feature map. Then the space-aware interpolation adaptively interpolates between the corresponding content and style manifolds to increase their similarity. By gradually aligning the content manifolds to style manifolds, the proposed PAMA achieves state-of-the-art performance while avoiding the inconsistency of semantic regions. Codes are available at https://github.com/computer-vision2022/PAMA.

研究动机与目标

• 解决基于注意力机制的任意风格迁移方法中存在的不一致风格化问题，即不同区域的风格模式不匹配导致均匀语义区域发生畸变。
• 克服点对点注意力机制无法捕捉语义区域间多流形特征分布的局限性。
• 通过在语义区域间对齐内容与风格特征流形，提升风格化输出的结构一致性。
• 在保持内容结构的同时，实现低伪影、细粒度的实时风格迁移。
• 设计多阶段训练框架，通过自适应损失函数逐步增强流形对应关系。

提出的方法

• 通过迭代注意力操作，根据内容特征的空间分布动态重排风格特征，对齐相关的内容与风格流形。
• 引入空间感知插值，利用空间上下文自适应融合对应的内容与风格流形，以保留结构细节。
• 执行多阶段流形对齐，每一阶段均对内容与风格特征流形之间的对应关系进行优化。
• 采用多阶段损失函数，结合自相似性损失、颜色直方图损失、REMD 损失与矩匹配损失，引导渐进式对齐。
• 通过图像重建损失维持共享特征空间，以稳定训练并提升对齐保真度。
• 利用可学习的注意力核计算逐点相似性图，指导特征变换，同时尊重流形结构。

实验结果

研究问题

• RQ1 通过更优对齐内容与风格特征之间的语义区域，迭代式流形对齐是否能提升任意风格迁移中的一致性？
• RQ2 空间感知插值是否能在风格化过程中增强结构保持能力，尤其是在边缘和均匀区域？
• RQ3 与单阶段或全局对齐相比，渐进式多阶段对齐在减少视觉伪影方面表现如何？
• RQ4 自相似性损失与颜色直方图损失在多大程度上平衡了风格化输出的一致性与色彩保真度？
• RQ5 所提出的框架是否能在保持当前最优风格迁移质量的同时实现推理实时化？

主要发现

• PAMA 在 Tesla V100 GPU 上对 512px 图像实现了 101 FPS 的推理速度，证明了其具备实时性能。
• 多阶段流形对齐策略显著提升了区域一致性，三阶段对齐产生的结果在视觉上比单阶段或双阶段变体更加均匀。
• 空间感知插值能有效保留边缘结构并减少局部畸变，尤其在显著区域和均匀内容区域表现突出。
• 平衡自相似性损失与颜色直方图损失至关重要：高自相似性损失可提升结构一致性，而高颜色直方图损失虽增强色彩保真度，但可能引入色彩块状伪影。
• 消融实验表明，PAMA 在保持语义一致性和风格化质量方面，优于单阶段对齐和全局变换方法。
• 该方法通过确保相关流形间的一致特征映射，显著减少了均匀区域（如天空）中的混沌风格化模式。