[论文解读] A Closed-form Solution to Photorealistic Image Stylization

Yijun Li, Ming-Yu Liu+3 more|arXiv (Cornell University)|Feb 19, 2018

Generative Adversarial Networks and Image Synthesis参考文献 42被引用 50

一句话总结

本文提出一个具有封闭解析解的两步法写实风格化图像处理管线：一个 PhotoWCT 风格化步骤以及一个后续的平滑步骤，提供比现有方法更快且更具写实性的结果。

ABSTRACT

Photorealistic image stylization concerns transferring style of a reference photo to a content photo with the constraint that the stylized photo should remain photorealistic. While several photorealistic image stylization methods exist, they tend to generate spatially inconsistent stylizations with noticeable artifacts. In this paper, we propose a method to address these issues. The proposed method consists of a stylization step and a smoothing step. While the stylization step transfers the style of the reference photo to the content photo, the smoothing step ensures spatially consistent stylizations. Each of the steps has a closed-form solution and can be computed efficiently. We conduct extensive experimental validations. The results show that the proposed method generates photorealistic stylization outputs that are more preferred by human subjects as compared to those by the competing methods while running much faster. Source code and additional results are available at https://github.com/NVIDIA/FastPhotoStyle .

研究动机与目标

• 推动写实风格化，使保留内容与写实感。
• 解决先前风格化方法中的空间伪影与不一致性。
• 提出一个具有封闭解析解的两步管线以提高效率。
• 通过基于像素亲和性的平滑步骤提升感知写实性。

提出的方法

• 基于一个网络设计的风格化步骤（PhotoWCT），将白化/着色变换自适应到内容和风格特征。
• 在解码器中使用反池化以保留空间信息并减少伪影。
• 应用带有封闭形式解的平滑步骤，使用图形亲和矩阵（W）和归一化拉普拉斯算子（S）来实现局部一致性。
• 以封闭形式求解平滑优化：R* = (1 - α)(I - αS)^{-1}Y，其中 α = 1/(1+λ)。
• 结合 VGG-19 不同层级的多层次风格化以及可选的语义标签以改进区域级别的风格迁移。

实验结果

研究问题

• RQ1 是否可以通过将风格化与空间平滑分离的两步法实现写实风格化？
• RQ2 封闭形式的平滑步骤是否在不降低风格化质量的前提下减少伪影并提升写实感？
• RQ3 像 PhotoWCT 与 WCT 之间的设计选择以及亲和性选择如何影响输出质量和速度？
• RQ4 就感知质量而言，精确平滑与快速近似之间的权衡是什么？

主要发现

• 所提出的方法在用户研究中产生的风格化图像被人类主体偏好于竞争方法。
• PhotoWCT 通过保留空间细节，在减少结构性伪影方面优于标准 WCT。
• 使用 MattingAffinity 或基于图的亲和性进行的平滑步骤在区域一致性方面优于高斯亲和性。
• 封闭形式的平滑使计算速度很快，显著快于基于优化的基线方法（如 Luan 等人）。
• 一种近似的快速版本（引导式图像滤波）在偏好分数略有下降的情况下显著加速处理。
• 定性结果显示在多样化内容/风格对中具有更好写实性和更少伪影。