[论文解读] Fast Universal Style Transfer for Artistic and Photorealistic Rendering

Jie An, Haoyi Xiong+3 more|arXiv (Cornell University)|Jul 6, 2019

Generative Adversarial Networks and Image Synthesis参考文献 42被引用 4

一句话总结

本文提出 ArtNet 和 PhotoNet 两种新型神经网络架构，基于多层自编码器，实现快速、单次前向传播的通用风格迁移，适用于艺术风格与照片级真实感渲染。通过整合特征聚合与归一化跳跃连接，并结合预定义的风格迁移模块（如 WCT、AdaIN），该方法在保持图像细节的同时，显著减少伪影、失真与计算成本，实现 SOTA 级别的风格迁移质量，较之前方法提速 3× 至 100×。

ABSTRACT

Universal style transfer is an image editing task that renders an input content image using the visual style of arbitrary reference images, including both artistic and photorealistic stylization. Given a pair of images as the source of content and the reference of style, existing solutions usually first train an auto-encoder (AE) to reconstruct the image using deep features and then embeds pre-defined style transfer modules into the AE reconstruction procedure to transfer the style of the reconstructed image through modifying the deep features. While existing methods typically need multiple rounds of time-consuming AE reconstruction for better stylization, our work intends to design novel neural network architectures on top of AE for fast style transfer with fewer artifacts and distortions all in one pass of end-to-end inference. To this end, we propose two network architectures named ArtNet and PhotoNet to improve artistic and photo-realistic stylization, respectively. Extensive experiments demonstrate that ArtNet generates images with fewer artifacts and distortions against the state-of-the-art artistic transfer algorithms, while PhotoNet improves the photorealistic stylization results by creating sharp images faithfully preserving rich details of the input content. Moreover, ArtNet and PhotoNet can achieve 3X to 100X speed-up over the state-of-the-art algorithms, which is a major advantage for large content images.

研究动机与目标

• 解决现有通用风格迁移方法中因依赖多轮重建与后处理而导致的高计算成本及质量退化（伪影、失真）问题。
• 实现快速、端到端的风格迁移，仅通过一次前向推理完成，无需迭代优化或耗时的计算过程。
• 通过改进的自编码器架构，提升艺术与照片级真实感渲染中的风格迁移质量，尤其在细节保留与清晰度方面。
• 在视觉质量与推理速度两方面，均超越当前 SOTA 方法（如 WCT、AdaIN 与 PhotoWCT）。

提出的方法

• 提出 ArtNet，一种前馈网络，聚合编码器中的多层级特征，并应用多阶段风格迁移模块（MST）以提升艺术风格迁移质量，同时减少伪影。
• 提出 PhotoNet，利用归一化跳跃连接在照片级真实感风格迁移中保留精细细节，提升图像清晰度与内容保真度。
• 采用预训练自编码器，提升重建能力，以在风格迁移前最小化图像失真与伪影。
• 在解码器或跳跃连接中直接应用预定义的风格迁移模块（如 WCT、AdaIN），避免迭代重建循环。
• 通过低层与高层特征的特征聚合，更好地保留风格迁移过程中的结构与纹理细节。
• 采用单次前向传播进行推理，与多轮方法相比，显著降低计算时间。

实验结果

研究问题

• RQ1 单次前向、端到端的神经网络架构是否能在速度与视觉质量上超越多轮风格迁移方法？
• RQ2 特征聚合与归一化跳跃连接是否能分别减少艺术风格与照片级真实感风格迁移中的伪影与失真？
• RQ3 改进的自编码器重建能力在无需迭代优化的情况下，能在多大程度上提升风格迁移性能？
• RQ4 将风格迁移模块集成于解码器的早期或晚期阶段，对图像质量与细节保留有何影响？

主要发现

• 与 WCT 和 AdaIN 相比，ArtNet 显著减少伪影与失真，在单次推理中生成视觉质量更优的艺术风格迁移结果。
• PhotoNet 生成的图像比 PhotoWCT 更清晰、更富细节，更高的总变差分数表明其对精细细节的保留更佳。
• 所提方法相较 SOTA 算法实现 3× 至 100× 的加速，尤其在大尺寸图像上优势显著。
• ArtNet 与 PhotoNet 的图像重建误差显著低于 WCT（83,196.87）与 AdaIN（86,611.57），分别为 74,643.66 与 75,021.59，表明特征保真度更高。
• FID 分数显示 PhotoNet 超越 PhotoWCT，表明在照片级真实感迁移中与参考风格图像的分布相似性更优。
• 消融实验确认，特征聚合（FA）与归一化跳跃连接（NS）为关键组件，MST-∞（所有阶段）取得最佳视觉效果。