[论文解读] Deep Painterly Harmonization

Fujun Luan, Sylvain Paris+2 more|arXiv (Cornell University)|Apr 9, 2018

Computer Graphics and Visualization Techniques参考文献 14被引用 13

一句话总结

本文提出了一种名为 Deep Painterly Harmonization 的两阶段深度学习方法，利用 VGG 神经网络特征，将绘画中的局部色彩、纹理和结构统计特性传递到粘贴的图像元素上。通过在特征统计中强制实现空间一致性和跨尺度一致性，该方法生成了无缝且艺术风格一致的合成图像，视觉上与真实绘画难以区分，在用户研究中优于传统的照片合成与全局风格迁移技术。

ABSTRACT

Copying an element from a photo and pasting it into a painting is a challenging task. Applying photo compositing techniques in this context yields subpar results that look like a collage --- and existing painterly stylization algorithms, which are global, perform poorly when applied locally. We address these issues with a dedicated algorithm that carefully determines the local statistics to be transferred. We ensure both spatial and inter-scale statistical consistency and demonstrate that both aspects are key to generating quality results. To cope with the diversity of abstraction levels and types of paintings, we introduce a technique to adjust the parameters of the transfer depending on the painting. We show that our algorithm produces significantly better results than photo compositing or global stylization techniques and that it enables creative painterly edits that would be otherwise difficult to achieve.

研究动机与目标

• 解决在不产生明显接缝或不自然伪影的情况下，将照片元素无缝合成到绘画中的挑战。
• 克服将全局风格迁移和照片合成技术应用于绘画背景时的局限性。
• 开发一种方法，以同时保留合成图像中的局部纹理和多尺度结构。
• 通过确保粘贴元素与绘画的独特视觉风格一致，实现类似艺术家的创造性编辑。

提出的方法

• 该方法采用两阶段优化框架：第一阶段使用全局统计量进行粗粒度和谐化，第二阶段通过局部和多尺度一致性来细化结果。
• 通过在绘画与粘贴图像之间传递深度神经网络（VGG）激活的统计量，实现色彩、纹理和结构的匹配。
• 通过在绘画中选择一组小而一致的区域来引导特征迁移，从而强制实现空间一致性，避免孤立或噪声过大的统计量。
• 通过保持 VGG 网络不同层级之间特征响应的相关性，来维持跨尺度一致性。
• 训练一个独立的神经网络，以基于绘画风格预测最优的迁移参数，从而实现对多种艺术风格的自适应。
• 该方法结合了深度图像类比原理与针对性的统计迁移，聚焦于感知相关的特征，而非完整的图像重建。

实验结果

研究问题

• RQ1 能否有效利用深度神经网络的统计量，将照片元素和谐地融入绘画中，同时保留局部纹理和结构？
• RQ2 在特征统计中强制实现空间一致性和跨尺度一致性，相比孤立或全局统计量，如何显著提升合成图像的真实感？
• RQ3 单一算法在无需手动调参的情况下，能在多大程度上泛化到多样的绘画风格？
• RQ4 所提出的方法能否在用户感知中生成与真实绘画无法区分的合成图像？
• RQ5 在视觉质量和感知真实感方面，该方法与最先进的照片合成与全局风格迁移技术相比表现如何？

主要发现

• 用户研究表明，参与者最青睐本方法的结果，其结果常被误认为是真实绘画而非合成图像。
• 该方法在保留纹理和色彩一致性方面，显著优于 Poisson 拼接、多尺度和谐化 [SJMP10] 和图像融合 [DSB*12]。
• 结果表明，神经特征统计的空间一致性和跨尺度一致性对于高质量和谐化至关重要。
• 该算法成功处理了多种多样的绘画风格，包括具有强烈抽象性、笔触感和非均匀纹理的风格。
• 统计相似性分析证实，该方法生成的合成图像在视觉上与原始绘画风格高度一致，其相似度更接近真实绘画而非其他方法。
• 该方法支持创造性应用，例如将典型物体（如热气球）自然地插入多种绘画中，使其与绘画风格完美融合。