[论文解读] Incorporating long-range consistency in CNN-based texture generation

G. Berger, Roland Memisevic|arXiv (Cornell University)|Jun 3, 2016

Generative Adversarial Networks and Image Synthesis参考文献 22被引用 24

一句话总结

本文通过在特征图变换中引入长程空间一致性，对Gatys等人提出的神经风格迁移方法进行了改进，实现了具有全局结构、对称性以及在图像修复和季节迁移任务中性能提升的纹理生成。该方法通过在Gramian矩阵中使用变换后的特征图，实现了空间位置间的连贯性，显著提升了生成图像的视觉一致性。

ABSTRACT

Gatys et al. (2015) showed that pair-wise products of features in a convolutional network are a very effective representation of image textures. We propose a simple modification to that representation which makes it possible to incorporate long-range structure into image generation, and to render images that satisfy various symmetry constraints. We show how this can greatly improve rendering of regular textures and of images that contain other kinds of symmetric structure. We also present applications to inpainting and season transfer.

研究动机与目标

• 解决现有基于CNN的纹理生成方法在捕捉长程空间相关性和全局结构方面的局限性。
• 实现传统基于Gramian的方法难以生成的规则、对称和结构化纹理。
• 通过强制缺失区域与周围内容之间的一致性，将纹理生成扩展至图像修复和季节迁移等应用。
• 提出一种简单但有效的Gramian损失修改方法，其作用对象为变换后的特征图而非原始特征。

提出的方法

• 提出一种改进的Gramian损失，其在计算相关性之前对特征图应用空间变换（如平移、翻转）。
• 在Gram矩阵计算中使用变换后的特征图：$ G^{l}_{ij} = \langle F^{l}_{i:}, T(F^{l}_{j:}) \rangle $，其中 $ T $ 为平移或反射等空间变换。
• 在标准风格损失之外应用基于变换的损失，以保留长程结构和对称性。
• 对生成图像进行优化，以最小化组合损失，包括标准Gramian损失和变换特征一致性损失。
• 在图像修复中通过从掩码内容初始化，并在图像边界添加 $ L_2 $ 惩罚以保持连续性。
• 通过使用具有季节特征的参考图像，并强制图像中结构一致性，将方法扩展至季节迁移任务。

实验结果

研究问题

• RQ1 能否通过简单修改Gramian损失，有效将长程空间一致性融入基于CNN的纹理生成？
• RQ2 所提出的方法是否能比基线风格迁移更忠实地生成规则纹理（如砖墙）和对称图案？
• RQ3 在图像修复任务中，强制特征层级的空间位置间一致性是否能提升性能？
• RQ4 该方法能否推广至其他类型的结构约束，如反射或平移对称性？

主要发现

• 所提方法成功生成了具有一致对齐和间距的规则纹理（如砖墙），而基线方法无法实现此效果。
• 通过保留全局结构和缺失区域与周围内容之间的连续性，该方法显著提升了图像修复结果。
• 在季节迁移任务中，该方法更好地保留了天空颜色和叶片分布等全局特征，在视觉连贯性方面优于基线风格迁移。
• 即使在非结构化纹理上，该方法也保持或提升了视觉质量，且未降低多样性或质量。
• 通过翻转特征图引入对称性约束，成功在生成纹理中强制实现对称结构，如在抽象对称图案上的验证。
• 该方法在保持计算效率和与现有优化框架兼容性的同时，实现了优于基线风格迁移的结构保真度。