[论文解读] Improved Style Transfer by Respecting Inter-layer Correlations

Mao-Chuang Yeh, Shuai Tang|arXiv (Cornell University)|Jan 5, 2018

Generative Adversarial Networks and Image Synthesis被引用 8

一句话总结

本文提出了一种新颖的风格迁移方法，通过跨层Gram矩阵建模跨层相关性，以提升纹理和长尺度图案的迁移效果，其性能优于传统的层内统计方法。该方法进一步引入了乘法损失函数，增强了边界保持能力并消除了超参数，显著提升了在纹理浮雕和分层图案等复杂风格下的视觉质量。

ABSTRACT

A popular series of style transfer methods apply a style to a content image by controlling mean and covariance of values in early layers of a feature stack. This is insufficient for transferring styles that have strong structure across spatial scales like, e.g., textures where dots lie on long curves. This paper demonstrates that controlling inter-layer correlations yields visible improvements in style transfer methods. We achieve this control by computing cross-layer, rather than within-layer, gram matrices. We find that (a) cross-layer gram matrices are sufficient to control within-layer statistics. Inter-layer correlations improves style transfer and texture synthesis. The paper shows numerous examples on "hard" real style transfer problems (e.g. long scale and hierarchical patterns); (b) a fast approximate style transfer method can control cross-layer gram matrices; (c) we demonstrate that multiplicative, rather than additive style and content loss, results in very good style transfer. Multiplicative loss produces a visible emphasis on boundaries, and means that one hyper-parameter can be eliminated.

研究动机与目标

• 解决现有风格迁移方法仅依赖层内Gram矩阵的局限性，这些方法在复杂风格中无法捕捉长尺度结构一致性。
• 探究跨层相关性——即不同网络深度间特征关系的编码——是否能提升风格迁移质量。
• 证明跨层Gram矩阵不仅能保持内容边界，还能更优地迁移分层和大尺度图案。
• 展示乘法损失函数可增强边界强调并简化超参数调优。

提出的方法

• 该方法用跨层Gram矩阵替代传统的层内Gram矩阵，计算不同层（如浅层和深层）特征图之间的相关性。
• 跨层Gram矩阵通过两个不同层的特征图的外积计算，捕捉跨尺度依赖关系。
• 损失函数采用乘法而非加法方式组合内容损失与风格损失，以强调结构边界。
• 该方法被集成到快速通用风格迁移（FUT）中，实现在多样化内容图像上的高效、高质量风格化。
• 方法采用基于VGG的特征提取器进行端到端训练，优化目标同时包含内容损失和跨层风格统计。
• 使用跨层Gram矩阵可在更少约束下实现对空间一致性和图案频率的更优控制。

实验结果

研究问题

• RQ1 与传统的层内Gram矩阵相比，跨层Gram矩阵是否能提升风格迁移性能，特别是在具有长程空间一致性的风格中？
• RQ2 建模层间相关性是否能更有效地保持生成图像中的内容边界和材质浮雕效果？
• RQ3 乘法损失函数是否能增强边界强调并减少风格迁移中超参数调优的需求？
• RQ4 跨层Gram矩阵在不同风格图像尺度和裁剪尺寸下的性能表现如何？
• RQ5 跨层统计在不牺牲速度或泛化能力的前提下，能在多大程度上提升通用风格迁移？

主要发现

• 跨层Gram矩阵在纹理浮雕和长曲线图案等困难风格上的风格迁移性能显著提升，而传统层内统计方法在这些情况下无法保持结构一致性。
• 即使风格图像包含复杂的大尺度图案，该方法也能更有效地保持显著的内容边界（如塔楼、船员和物体轮廓），优于基线方法。
• 尽管约束更少，跨层Gram矩阵在控制图案频率方面与层内矩阵效果相当，表明其对风格的表征更高效。
• 乘法损失函数增强了边界的可见性，并消除了对独立风格权重超参数的需求，简化了优化过程。
• 当风格图像裁剪为更大尺寸（如768×768）时，跨层方法比层内方法能更少失真地保持大尺度结构元素（如圆形形状、笔触），表现出更强的鲁棒性。
• 快速通用跨层风格迁移（FCT）在视觉质量上优于原始WCT方法，尤其在保持清晰子形状和材质浮雕方面表现更优，证明了该方法的可扩展性和鲁棒性。