[论文解读] Improving the Neural Algorithm of Artistic Style

Roman Novak, Yaroslav Nikulin|arXiv (Cornell University)|May 15, 2016

Generative Adversarial Networks and Image Synthesis被引用 15

一句话总结

该论文通过激活偏移、多层特征相关性和几何加权，改进了神经风格迁移中的风格表征，实现了更一致且视觉连贯的风格迁移，尤其在具有明显前景和背景的复杂场景中表现更优，尽管计算成本有所增加，但在多种风格图像上均观察到性能提升。

ABSTRACT

In this work we investigate different avenues of improving the Neural Algorithm of Artistic Style (by Leon A. Gatys, Alexander S. Ecker and Matthias Bethge, arXiv:1508.06576). While showing great results when transferring homogeneous and repetitive patterns, the original style representation often fails to capture more complex properties, like having separate styles of foreground and background. This leads to visual artifacts and undesirable textures appearing in unexpected regions when performing style transfer. We tackle this issue with a variety of approaches, mostly by modifying the style representation in order for it to capture more information and impose a tighter constraint on the style transfer result. In our experiments, we subjectively evaluate our best method as producing from barely noticeable to significant improvements in the quality of style transfer.

研究动机与目标

• 解决神经风格迁移中在具有明显前景和背景的复杂场景下出现的视觉伪影和纹理应用不一致问题。
• 通过捕捉风格更复杂的统计特性，改进Gatys等人原始算法中的风格表征。
• 通过激活偏移减少Gram矩阵中的歧义，提升收敛速度和视觉质量。
• 探究将风格表征扩展至更多层及层间相关性是否能提升迁移保真度。
• 通过优先考虑简单风格特征的几何加权方案，更有效地平衡内容与风格损失。

提出的方法

• 通过从每个特征图中减去最小激活值，引入激活偏移，以消除Gram矩阵中零值条目的歧义。
• 将风格表征扩展至16个卷积层（相比原始方法的5个），捕捉更详细的风格统计信息。
• 提出一种层间特征相关性链，即在相邻层的特征图之间（如conv4_2到conv5_4）计算相关性，以丰富风格表征。
• 对风格损失应用几何加权方案，为低层分配更高权重，以强调更简单、更鲁棒的风格特征。
• 使用改进的损失函数，结合深层（conv4_2）的内容损失与多层中经偏移和链式相关性增强的风格损失。
• 通过反向传播进行迭代优化，最小化联合损失，从内容图和风格图生成风格化图像。

实验结果

研究问题

• RQ1 通过引入更多层和层间相关性改进风格表征，是否能实现更一致且视觉上更可信的风格迁移？
• RQ2 在Gram矩阵中引入激活偏移是否能减少歧义，并在多种风格图像上提升收敛速度和视觉质量？
• RQ3 对风格损失采用几何加权方案是否能更有效地平衡内容与风格，尤其在复杂场景中？
• RQ4 所提出的改进方法与原始Gatys等人方法及CNN-MRF相比，在视觉连贯性和伪影减少方面表现如何？
• RQ5 这些改进在多大程度上实现了统一区域的风格化与图像不同部分的差异化风格化这一双重目标？

主要发现

• 激活偏移在所有测试风格图像上均显著提升了收敛速度并减少了视觉伪影，主观评价结果一致改善。
• 与原始方法使用5层相比，采用16层风格表征使风格迁移更细致且连贯，尤其在具有前景-背景区分的复杂场景中表现更优。
• 层间相关性链（如conv4_2到conv5_4）增强了模型捕捉分层风格模式的能力，减少了纹理碎片化现象。
• 几何加权方案降低了对高层特征的过拟合，提升了输出图像的视觉合理性，尤其在非重复性风格中表现更佳。
• 主观评估显示改进程度从几乎不可察觉到显著不等，最佳配置（Chain Blurred）在一致性和连贯性方面优于原始方法和CNN-MRF。
• 尽管有所改进，挑战依然存在——统一背景有时会碎片化为不同风格区域，前景物体可能与背景融合，表明对目标要求的实现尚不完全。