[论文解读] Geometric Style Transfer

Xiao-Chang Liu, Xuanyi Li+2 more|arXiv (Cornell University)|Jul 10, 2020

Generative Adversarial Networks and Image Synthesis参考文献 58被引用 7

一句话总结

本文提出几何风格迁移（GST），一种新颖的神经架构，通过联合迁移纹理与几何风格（如物体形状、姿态和空间构图），将内容图像、纹理风格图像和独立的几何风格图像结合，扩展了神经风格迁移（NST）。该方法在纹理迁移前通过形变将内容图像匹配到风格图像的几何结构，从而生成更真实、感知更准确的风格化输出，显著提升了与目标艺术风格的一致性，优于仅迁移纹理的方法。

ABSTRACT

Neural style transfer (NST), where an input image is rendered in the style of another image, has been a topic of considerable progress in recent years. Research over that time has been dominated by transferring aspects of color and texture, yet these factors are only one component of style. Other factors of style include composition, the projection system used, and the way in which artists warp and bend objects. Our contribution is to introduce a neural architecture that supports transfer of geometric style. Unlike recent work in this area, we are unique in being general in that we are not restricted by semantic content. This new architecture runs prior to a network that transfers texture style, enabling us to transfer texture to a warped image. This form of network supports a second novelty: we extend the NST input paradigm. Users can input content/style pair as is common, or they can chose to input a content/texture-style/geometry-style triple. This three image input paradigm divides style into two parts and so provides significantly greater versatility to the output we can produce. We provide user studies that show the quality of our output, and quantify the importance of geometric style transfer to style recognition by humans.

研究动机与目标

• 为解决现有神经风格迁移（NST）方法仅关注纹理和色彩的局限，通过引入几何风格迁移（GST），更好地捕捉艺术构图与形状变形。
• 开发一种通用的GST框架，无需语义先验或内容特定模型，实现对多样化图像内容的广泛适用。
• 将标准NST范式从两图输入（内容、风格）扩展为三图输入（内容、几何风格、纹理风格），提升风格化过程的控制力与表现力。
• 通过实证验证，几何风格迁移可提升与目标艺术风格的感知相似性，经由人类用户评估确认。

提出的方法

• 该方法在NST流程中引入并行处理路径，从独立的几何风格图像学习几何形变函数，并在纹理迁移前应用于内容图像。
• 几何形变通过深度神经网络学习，匹配内容图像与几何风格图像之间的高层特征，实现连续、全局的图像形变。
• 网络采用多尺度特征匹配，确保形变过程中的几何一致性，并保持图像质量。
• 纹理迁移采用标准NST架构（如Gatys等人提出的方法）对形变后的内容图像进行处理，确保高保真度的纹理合成。
• 三图输入范式允许独立指定几何与纹理风格，实现更精细、更具表现力的风格化效果。
• 该框架端到端可微，支持通过反向传播联合优化几何与纹理迁移。

实验结果

研究问题

• RQ1 与仅纹理迁移相比，几何风格迁移是否能显著提升风格化图像与目标艺术风格之间的感知相似性？
• RQ2 引入几何风格迁移如何影响人类对风格化图像质量与风格准确性的感知？
• RQ3 通用GST方法在不依赖语义先验或内容特定模型的前提下，能在多大程度上适用于多样化的内容类别？
• RQ4 三图输入范式（内容、几何风格、纹理风格）是否能产生比传统两图NST更具表现力与可控性的风格化效果？
• RQ5 全局形变在捕捉复杂艺术风格（如立体主义或多重视角构图）方面存在哪些局限？

主要发现

• 用户研究表明，所提方法的输出在感知质量与风格准确性方面始终优于仅纹理迁移的结果。
• 经人类评估与感知度量指标验证，该方法生成的图像与目标风格图像的相似度显著高于基线NST方法。
• 引入几何风格迁移可产生更自然、更具艺术一致性的结果，尤其在涉及刻意形状变形的艺术风格中表现突出，如埃尔·格列柯的拉长人物或拜占庭式逆透视构图。
• 三图输入范式实现了更强的风格化控制力，如图12所示，不同几何与纹理风格图像可生成截然不同且符合预期的输出。
• 局限性包括对局部几何变化（如面部特征、姿态变化）处理不佳，以及在高度碎片化或分段映射（如立体主义）风格中面临挑战，因全局形变难以有效建模。
• 当内容图像与几何风格图像缺乏语义相似性时，特征匹配会失败，导致性能下降，凸显了该方法的关键限制。