[论文解读] Deep Photo Style Transfer

Fujun Luan, Sylvain Paris+2 more|arXiv (Cornell University)|Mar 22, 2017

Image Enhancement Techniques参考文献 16被引用 94

一句话总结

一种基于深度学习的照片真实感风格迁移方法，在参考图像的风格转移的同时保持内容，通过局部颜色仿射约束和语义分割实现。它避免画笔式的失真，在多种场景下实现照片真实感。

ABSTRACT

This paper introduces a deep-learning approach to photographic style transfer that handles a large variety of image content while faithfully transferring the reference style. Our approach builds upon the recent work on painterly transfer that separates style from the content of an image by considering different layers of a neural network. However, as is, this approach is not suitable for photorealistic style transfer. Even when both the input and reference images are photographs, the output still exhibits distortions reminiscent of a painting. Our contribution is to constrain the transformation from the input to the output to be locally affine in colorspace, and to express this constraint as a custom fully differentiable energy term. We show that this approach successfully suppresses distortion and yields satisfying photorealistic style transfers in a broad variety of scenarios, including transfer of the time of day, weather, season, and artistic edits.

研究动机与目标

• 在各种内容上实现照片真实感风格迁移。
• 在实现强局部颜色变化的同时防止空间变形。
• 通过语义感知的风格迁移缓解内容不匹配。
• 将神经风格损失与照片真实感正则化相结合。
• 证明在时间-日间、天气、季节和编辑等情景中具备广泛的适用性。

提出的方法

• 在 Neural Style 的基础上扩展一种照片真实感正则化，通过 Matting Laplacian 强制局部仿射颜色变换。
• 引入一种增强的风格损失，结合语义分割以避免内容溢出。
• 将内容损失、增强风格损失和照片真实感正则化整合为单一优化目标。
• 使用预训练的 VGG-19 特征来定义内容和风格项，具体层选择为 content：conv4_2；style：conv1_1、conv2_1、conv3_1、conv4_1、conv5_1。
• 提供两阶段优化，起始于 Neural Style 输出，并对摄影真实感项使用 CUDA 加速的梯度。
• 使用语义分割掩码（通过 DilatedNet）将风格迁移限制在语义上对应的区域。

实验结果

研究问题

• RQ1 照片真实感图像风格迁移是否能在保留几何结构的同时将参考风格迁移？
• RQ2 通过 Matting Laplacian 对局部颜色变换进行约束是否能防止神经风格迁移常见的失真？
• RQ3 语义标注如何在风格迁移过程中降低内容不匹配和溢出？
• RQ4 在不同场景下权衡风格保真度与照片真实感的实际参数设置有哪些？
• RQ5 该方法是否在时间-日间、天气、季节变化和艺术修改等应用中有效？

主要发现

• 该方法在忠实迁移风格的同时抑制了画笔状失真。
• 带语义掩码的增强风格损失避免语义溢出并提升真实感。
• 使用 Matting Laplacian 的照片真实感正则化强制局部仿射颜色变换（λ 约为 10^4 时效果良好）。
• 两阶段优化（以 Neural Style 初始化，随后进行照片真实感正则化细化）比直接优化得到更好的结果。
• 与 Neural Style 和 CNNMRF 相比，所提出的方法在语义一致的情况下减少了失真并保留纹理。
• 用户研究显示我们的方法达到照片真实感和风格忠实度；约 80% 以上的参与者认为它对参考风格最为忠实，相对于一些全局方法。
• 每张图像可在 NVIDIA Titan X GPU 上 3–5 分钟内生成结果。