[论文解读] Controlling Perceptual Factors in Neural Style Transfer

Leon A. Gatys, Alexander S. Ecker+3 more|arXiv (Cornell University)|Nov 23, 2016

Generative Adversarial Networks and Image Synthesis参考文献 24被引用 11

一句话总结

本文通过将风格分解为空间区域、色彩/亮度和空间尺度，提出了直观且符合感知意义的神经风格迁移控制方法。通过在损失函数中引入空间掩码、仅亮度的风格迁移以及多尺度特征优化，该方法实现了高质量、可控制的风格迁移，缓解了常见失败案例，并允许从多个来源组合风格，生成新颖且符合感知审美的结果。

ABSTRACT

Neural Style Transfer has shown very exciting results enabling new forms of image manipulation. Here we extend the existing method to introduce control over spatial location, colour information and across spatial scale. We demonstrate how this enhances the method by allowing high-resolution controlled stylisation and helps to alleviate common failure cases such as applying ground textures to sky regions. Furthermore, by decomposing style into these perceptual factors we enable the combination of style information from multiple sources to generate new, perceptually appealing styles from existing ones. We also describe how these methods can be used to more efficiently produce large size, high-quality stylisation. Finally we show how the introduced control measures can be applied in recent methods for Fast Neural Style Transfer.

研究动机与目标

• 为解决神经风格迁移中缺乏直观控制的问题，该方法不再依赖复杂且非直观的CNN统计量来表示风格。
• 将图像风格分解为具有感知意义的因子：空间区域、色彩/亮度和空间尺度。
• 通过粗到细的优化策略，实现在高分辨率下的高效风格迁移，并应用于快速神经风格迁移方法。
• 以可感知解释的方式组合多个风格源，生成新颖且具有视觉吸引力的风格。
• 通过防止将地面纹理错误地应用到天空区域等伪影，提升方法的鲁棒性。

提出的方法

• 通过二值引导掩码引入空间控制，使风格损失条件依赖于特定图像区域，从而实现区域特定的风格迁移。
• 通过在损失函数中仅使用内容图像和风格图像的亮度通道，实现仅亮度的风格迁移，从而保留原始图像的颜色。
• 通过在多个特征图尺度（例如粗尺度和细尺度）上计算风格损失，实现尺度控制，每个尺度使用独立的Gram矩阵。
• 采用粗到细的优化策略，加速高分辨率风格迁移，将优化时间减少约2.5倍。
• 通过在包含引导通道的多区域或多尺度风格图像上训练前馈网络，将方法适配到快速神经风格迁移。
• 在训练过程中使用引导Gram矩阵（公式7），将风格统计信息局部化到特定空间区域。

实验结果

研究问题

• RQ1 是否可以在神经风格迁移中独立控制感知因素（如空间位置、色彩和尺度），以提升风格化质量？
• RQ2 如何将风格分解为空间、色度和尺度分量，以实现更具可解释性和灵活性的风格化？
• RQ3 这些控制是否可同时应用于基于优化和快速前馈风格迁移方法？
• RQ4 是否可以通过这些控制组合多个风格源，生成新颖且符合感知审美的结果？
• RQ5 该方法是否能减少常见失败案例，如将纹理错误地转移到不适当区域（例如将地面纹理应用到天空区域）？

主要发现

• 该方法成功实现了高分辨率风格迁移，通过粗到细优化将优化时间减少了约2.5倍。
• 空间控制使得不同区域可应用不同风格，例如可分别使用不同风格图像中的纹理对天空和地面进行风格化。
• 通过仅亮度的风格迁移实现色彩保留，通过将风格化的亮度与原始内容图像的颜色通道结合，产生更自然的结果。
• 尺度控制使得可分别对精细和粗略的空间结构进行风格化，提升了输出结果的结构一致性。
• 该方法可以以符合感知意义的方式组合多个风格源，从而生成新颖且视觉上吸引人的风格。
• 该方法与快速神经风格迁移兼容，可使用训练好的前馈网络结合引导掩码实现实时、空间可变的风格化。