[论文解读] Exploring the Neural Algorithm of Artistic Style

Yaroslav Nikulin, Roman Novak|arXiv (Cornell University)|Feb 23, 2016

Aesthetic Perception and Analysis参考文献 12被引用 28

一句话总结

本文通过探索超参数敏感性、替代网络架构、初始化策略以及部分风格/内容特征层划分，研究并扩展了神经风格迁移算法。提出了一种局部化风格表征，以实现内容感知的风格迁移，证明通过引入空间感知相关性的Gram矩阵风格损失优化，可更有效地迁移光照、纹理等复杂艺术特性。

ABSTRACT

We explore the method of style transfer presented in the article "A Neural Algorithm of Artistic Style" by Leon A. Gatys, Alexander S. Ecker and Matthias Bethge (arXiv:1508.06576). We first demonstrate the power of the suggested style space on a few examples. We then vary different hyper-parameters and program properties that were not discussed in the original paper, among which are the recognition network used, starting point of the gradient descent and different ways to partition style and content layers. We also give a brief comparison of some of the existing algorithm implementations and deep learning frameworks used. To study the style space further we attempt to generate synthetic images by maximizing a single entry in one of the Gram matrices $\mathcal{G}_l$ and some interesting results are observed. Next, we try to mimic the sparsity and intensity distribution of Gram matrices obtained from a real painting and generate more complex textures. Finally, we propose two new style representations built on top of network's features and discuss how one could be used to achieve local and potentially content-aware style transfer.

研究动机与目标

• 研究不同超参数和网络架构对神经风格迁移性能的影响。
• 评估不同初始化策略（白色噪声、内容图像、风格图像）对优化收敛性和视觉质量的影响。
• 通过将风格表征中的低层特征重新分配至内容表征，探索部分风格迁移，以保留颜色和低层次细节。
• 提出一种基于空间变化风格相关性的局部化风格表征，实现内容感知的风格迁移。
• 评估通过改进的风格损失函数，实现对光照、季节、照明等细微艺术特性的迁移是否可行。

提出的方法

• 使用L-BFGS优化算法，从不同初始化（白色噪声、内容图像、风格图像）出发，研究吸引盆效应的影响。
• 对比VGG-19、VGG-16、AlexNet和GoogLeNet在风格迁移中的表现，选择VGG因其小感受野、步长为1的卷积层能更好地保留精细细节。
• 提出一种局部化风格损失，通过将全局Gram矩阵替换为受空间约束的相关性图：$\mathcal{G}^{l}_{ij}(x,y) = \sum_{dx,dy} w(dx,dy) F^l_i(x+dx,y+dy) F^l_j(x+dx,y+dy)$。
• 引入全局风格-内容协方差损失：$E_l \sim \left\| \sum_{x,y} \left( \mathcal{F}^{c,l}_k(x,y) \mathcal{G}^{l}_{ij}(x,y) - \mathcal{P}^{c,l}_k(x,y) A^l_{ij}(x,y) \right) \right\|_2^2$，其中$\mathcal{F}^{c,l}_k$为加权内容响应。
• 测试了局部化损失的简化版本，其中$s=0$（逐像素）且权重均匀，实现在小图像上的概念验证。
• 使用Torch与cunn后端实现高效计算，对比Caffe和cuDNN的性能表现。

实验结果

研究问题

• RQ1 不同网络架构（如VGG与AlexNet）如何影响风格迁移结果的质量与细节？
• RQ2 初始化方式（白色噪声、内容图像、风格图像）对风格迁移收敛性与视觉保真度有何影响？
• RQ3 将风格表征中的低层特征重新分配至内容表征，是否能有效保留颜色与低层次内容特征，同时实现高层风格迁移？
• RQ4 基于空间约束Gram矩阵的局部化风格表征，是否能实现对复杂艺术特性的内容感知风格迁移？
• RQ5 是否可通过基于协方差的目标函数，将全局风格损失扩展以捕捉局部风格变化（如照明与季节效应）？

主要发现

• VGG-19在风格迁移中表现优于其他网络，因其采用小感受野（3×3）、步长为1的卷积滤波器，能更好地保留精细空间细节。
• 从内容图像初始化可获得更优结果，有效保持内容结构；而噪声初始化在基准测试中更有效。
• 部分风格迁移——即将风格表征中的低层特征重新分配至内容表征——成功保留了原始颜色与低层次特征，同时实现了高层风格迁移。
• 通过空间约束Gram矩阵实现的局部化风格表征，能更准确地迁移光照、纹理等复杂非均匀艺术特性。
• 所提出的局部化损失函数虽计算成本较高，但在小图像上已验证其可行性，表明进一步优化后具备实现内容感知风格迁移的潜力。
• 局部化损失的简化版本（逐像素）导致风格图像被直接涂抹在内容图像上，表明空间上下文对实现真实感结果至关重要。