[论文解读] Automated Deep Photo Style Transfer

Sebastian Penhouët, Paul Sanzenbacher|arXiv (Cornell University)|Jan 12, 2019

Generative Adversarial Networks and Image Synthesis参考文献 1被引用 15

一句话总结

本文提出了一种全自动、端到端的深度照片风格迁移流程，通过整合神经图像分割、语义分组和神经图像美学评估，实现无需人工干预的逼真风格迁移。通过用预训练的PSPNet替代人工分割，并利用基于NIMA的图像评估提升结果质量，该方法在减少用户依赖的同时实现了高保真、逼真的风格化效果。

ABSTRACT

Photorealism is a complex concept that cannot easily be formulated mathematically. Deep Photo Style Transfer is an attempt to transfer the style of a reference image to a content image while preserving its photorealism. This is achieved by introducing a constraint that prevents distortions in the content image and by applying the style transfer independently for semantically different parts of the images. In addition, an automated segmentation process is presented that consists of a neural network based segmentation method followed by a semantic grouping step. To further improve the results a measure for image aesthetics is used and elaborated. If the content and the style image are sufficiently similar, the result images look very realistic. With the automation of the image segmentation the pipeline becomes completely independent from any user interaction, which allows for new applications.

研究动机与目标

• 通过引入基于神经网络的自动化分割流程，消除深度照片风格迁移中的手动分割步骤。
• 通过独立对语义分组的图像区域应用风格迁移，提升风格化质量，同时保持照片真实感。
• 通过引入学习到的图像美学度量（NIMA）作为额外损失组件，提升迁移结果的视觉吸引力。
• 实现风格迁移流程的完全自动化，使该方法可扩展且可重复地应用于多样化的图像数据集。

提出的方法

• 使用预训练的PSPNet对内容图像和风格图像进行语义分割，生成像素级类别预测。
• 应用一种语义分组算法，基于学习到的语义阈值将相似的物体类别合并，以减少过度分割。
• 通过引入基于每一段的增强风格损失，扩展深度照片风格迁移的损失函数，实现局部风格自适应。
• 引入保真度正则化损失，以保留内容图像的细节并避免优化过程中的失真。
• 引入源自NIMA（神经图像评估）模型的图像评估损失，以优化图像的感知质量和美学表现。
• 通过2000次迭代优化生成的风格化图像，使用基于VGG19的特征提取器，最小化包含内容、风格、保真度和美学的复合损失。

实验结果

研究问题

• RQ1 与人工分割相比，自动化语义分割能否提升深度照片风格迁移的一致性和真实感？
• RQ2 对分割区域进行语义分组如何影响局部化风格迁移的质量和连贯性？
• RQ3 基于NIMA的图像评估损失在不损害真实感的前提下，能在多大程度上提升风格化图像的视觉吸引力？
• RQ4 在分辨率、执行时间和分割准确性方面，该自动化流程的性能和可扩展性存在哪些限制？

主要发现

• 使用PSPNet的自动化分割流程显著降低了用户依赖，实现了风格迁移流程的全端到端自动化。
• 语义分组减少了过度分割，提升了复杂场景中多种物体类型下的风格化一致性。
• 集成基于NIMA的图像评估损失后，结果更具视觉吸引力，美学评分优于基线方法。
• 尽管有所改进，但在处理反光表面、亮斑和细粒度物体边界方面仍存在挑战，主要受限于分割精度和风格迁移建模的局限性。
• 该方法在保真度方面与原始深度照片风格迁移方法相当，但计算成本较高——在GTX 1080上每张图像约需16分钟。
• 当前流程受限于分辨率上限和PSPNet的150类分类上限，提示未来工作需要更强大的分割模型。