[论文解读] Diversified Patch-based Style Transfer with Shifted Style Normalization.

Zhizhong Wang, Lei Zhao+5 more|arXiv (Cornell University)|Jan 16, 2021

Generative Adversarial Networks and Image Synthesis参考文献 41被引用 4

一句话总结

本文提出了一种新型技术——位移风格归一化（SSN），通过利用高激活区域的补丁来引导风格替换，从而提升基于补丁的风格迁移中的多样性。通过引入归一化统计量的可控偏移，SSN使现有基于补丁的方法能够高效生成多个多样化且高质量的风格化输出，在多样性和速度方面均优于当前最先进方法。

ABSTRACT

Gram-based and patch-based approaches are two important research lines of image style transfer. Recent diversified Gram-based methods have been able to produce multiple and diverse reasonable solutions for the same content and style inputs. However, as another popular research interest, the diversity of patch-based methods remains challenging due to the stereotyped style swapping process based on nearest patch matching. To resolve this dilemma, in this paper, we dive into the core style swapping process of patch-based style transfer and explore possible ways to diversify it. What stands out is an operation called shifted style normalization (SSN), the most effective and efficient way to empower existing patch-based methods to generate diverse results for arbitrary styles. The key insight is to use an important intuition that neural patches with higher activation values could contribute more to diversity. Theoretical analyses and extensive experiments are conducted to demonstrate the effectiveness of our method, and compared with other possible options and state-of-the-art algorithms, it shows remarkable superiority in both diversity and efficiency.

研究动机与目标

• 解决基于补丁的风格迁移中多样性不足的问题，该问题通常由于刚性最近邻补丁匹配而产生刻板化结果。
• 克服现有基于补丁的方法即使在输入内容和风格多样化时仍无法生成多样化输出的局限性。
• 开发一种轻量级、即插即用的解决方案，提升多样性而不修改现有基于补丁模型的核心架构。
• 为利用高激活补丁作为风格迁移多样性驱动因素提供理论与实证基础。

提出的方法

• 提出位移风格归一化（SSN），一种通过基于神经补丁激活强度对特征图统计量进行偏移来修改其统计特性的归一化技术。
• 识别高激活补丁为多样性的重要贡献者，并利用其统计特性引导风格迁移过程。
• 在风格迁移推理阶段应用SSN，通过替换或增强标准实例归一化，使用偏移后的统计量以实现多样化风格输出。
• 设计一种可微且高效的机制，无缝集成至现有基于补丁的框架中，无需重新训练。
• 通过理论分析证明，基于激活强度的归一化偏移可促进对多样化风格表征的探索。
• 实现一种针对偏移归一化参数的随机采样策略，以在多次前向传播中进一步增强多样性。

实验结果

研究问题

• RQ1 我们能否在不改变底层模型架构的前提下，显著提升基于补丁的风格迁移中的多样性？
• RQ2 神经补丁的激活强度在多大程度上影响生成风格化图像的多样性？
• RQ3 是否存在一种系统化的方法来调节归一化统计量，以引导产生更多样化的风格迁移结果？
• RQ4 与现有的数据增强或基于优化的多样性方法相比，SSN在多样性和效率方面表现如何？
• RQ5 SSN是否可普遍应用于不同基于补丁的风格迁移模型，并实现一致的性能提升？

主要发现

• SSN显著提升了基于补丁的风格迁移中的多样性，使同一组内容与风格输入可生成多个视觉上显著不同的结果。
• 该方法在无需额外训练或优化的情况下，相比最先进的基于Gram矩阵和基于补丁的方法，仍展现出更优的多样性表现。
• 大量消融实验证实，高激活补丁是多样性的主要驱动因素，验证了SSN核心直觉的正确性。
• SSN保持了高效率，计算开销极低，适用于实时处理与实际部署场景。
• 理论分析表明，SSN在归一化中引入了受控的方差，从而实现了对多样化风格表征的探索。
• 实证结果表明，SSN在多样性指标和视觉质量方面均优于其他基于归一化的多样化策略。