[论文解读] Drafting and Revision: Laplacian Pyramid Network for Fast High-Quality Artistic Style Transfer

Tianwei Lin, Zhuoqi Ma+7 more|arXiv (Cornell University)|Apr 12, 2021

Generative Adversarial Networks and Image Synthesis参考文献 35被引用 10

一句话总结

本文提出LapStyle，一种受人类绘画过程中草图与修改流程启发的新型前馈式艺术风格迁移方法。该方法采用拉普拉斯金字塔网络，通过草图网络在低分辨率下实现全局风格迁移，再通过修正网络基于多尺度拉普拉斯滤波纹理幻化出残差细节，实现在512×512图像上110 fps的实时、高质量风格迁移，同时显著保留全局与局部图案。

ABSTRACT

Artistic style transfer aims at migrating the style from an example image to a content image. Currently, optimization-based methods have achieved great stylization quality, but expensive time cost restricts their practical applications. Meanwhile, feed-forward methods still fail to synthesize complex style, especially when holistic global and local patterns exist. Inspired by the common painting process of drawing a draft and revising the details, we introduce a novel feed-forward method named Laplacian Pyramid Network (LapStyle). LapStyle first transfers global style patterns in low-resolution via a Drafting Network. It then revises the local details in high-resolution via a Revision Network, which hallucinates a residual image according to the draft and the image textures extracted by Laplacian filtering. Higher resolution details can be easily generated by stacking Revision Networks with multiple Laplacian pyramid levels. The final stylized image is obtained by aggregating outputs of all pyramid levels. %We also introduce a patch discriminator to better learn local patterns adversarially. Experiments demonstrate that our method can synthesize high quality stylized images in real time, where holistic style patterns are properly transferred.

研究动机与目标

• 解决现有前馈式风格迁移方法在同时保留复杂全局与局部风格模式方面的局限性。
• 在保持高风格化质量的同时，克服基于优化的方法带来的高推理成本。
• 通过将风格迁移过程划分为全局草图与局部修正两个阶段，模拟人类绘画过程。
• 实现实时、高分辨率风格迁移，且无需依赖迭代优化。

提出的方法

• 该方法采用两阶段流程：首先，通过浅层、高效的草图网络在低分辨率下实现全局风格模式的迁移。
• 其次，修正网络基于草图结果与多层级拉普拉斯滤波内容图像特征，通过幻化残差图像生成高分辨率局部细节。
• 修正网络在多个拉普拉斯金字塔层级上运行，实现高频细节的渐进式优化。
• 采用残差学习策略，即修正网络预测草图与最终风格化图像之间的差异，从而提升训练稳定性和控制性。
• 在修正阶段引入浅层局部判别器，通过对抗学习增强局部纹理与色彩的真实性。
• 最终通过聚合所有金字塔层级的输出，生成同时包含全局结构与精细局部细节的风格化图像。

实验结果

研究问题

• RQ1 前馈式风格迁移方法能否有效保留复杂艺术风格中的全局与局部风格模式？
• RQ2 两阶段草图-修正框架是否在风格化质量与细节保真度方面优于端到端的前馈网络？
• RQ3 基于拉普拉斯金字塔的多尺度特征提取是否能提升风格迁移中的局部细节生成能力，同时保持全局一致性？
• RQ4 是否可能在非优化方法下实现高分辨率（512×512）输出的实时推理（例如110 fps）？

主要发现

• LapStyle在512×512图像上实现110 fps的实时推理，速度显著优于基于优化的方法，同时保持高质量输出。
• 消融实验表明，rEMD损失对于在全局与局部结构共存时保留复杂风格模式至关重要。
• 自相似性损失（$l_{ss}$）有助于抑制不真实或噪声化的风格伪影，提升视觉和谐性。
• 感知损失（$l_p$）对保留内容结构至关重要，其缺失将导致内容身份完全丧失。
• 对抗性损失（$l_{adv}$）显著改善了局部纹理与色彩分布，增强了修正细节的真实感。
• 基于拉普拉斯差分图像的残差预测修正过程，相比直接在RGB空间进行优化，能生成更和谐的结果。