[论文解读] High-Resolution Network for Photorealistic Style Transfer

Ming Li, Chunyang Ye+1 more|arXiv (Cornell University)|Apr 25, 2019

Generative Adversarial Networks and Image Synthesis参考文献 26被引用 10

一句话总结

本文提出了一种用于逼真风格迁移的高分辨率生成网络，通过在整个网络中保持高分辨率，结合并行的高、低分辨率子网络与多尺度特征融合，有效保留了精细的结构细节并最小化了失真。该方法在视觉质量与推理速度方面均优于先前的方法，在感知质量与效率上均超越了当前最先进方法。

ABSTRACT

Photorealistic style transfer aims to transfer the style of one image to another, but preserves the original structure and detail outline of the content image, which makes the content image still look like a real shot after the style transfer. Although some realistic image styling methods have been proposed, these methods are vulnerable to lose the details of the content image and produce some irregular distortion structures. In this paper, we use a high-resolution network as the image generation network. Compared to other methods, which reduce the resolution and then restore the high resolution, our generation network maintains high resolution throughout the process. By connecting high-resolution subnets to low-resolution subnets in parallel and repeatedly multi-scale fusion, high-resolution subnets can continuously receive information from low-resolution subnets. This allows our network to discard less information contained in the image, so the generated images may have a more elaborate structure and less distortion, which is crucial to the visual quality. We conducted extensive experiments and compared the results with existing methods. The experimental results show that our model is effective and produces better results than existing methods for photorealistic image stylization. Our source code with PyTorch framework will be publicly available at https://github.com/limingcv/Photorealistic-Style-Transfer

研究动机与目标

• 为解决在深度神经网络下采样特征图时出现的结构失真与细节丢失问题，特别是在逼真风格迁移中。
• 通过在整个生成过程中保持高分辨率表示，提升视觉保真度，避免分辨率降低与后续上采样。
• 开发一种更高效且有效的风格迁移框架，平衡风格迁移精度与语义及结构的保留。
• 在定性和定量指标上均超越现有方法，尤其在保留内容结构与最小化伪影方面表现更优。

提出的方法

• 所提方法采用高分辨率生成器网络，在前向传播过程中始终保持完整分辨率，避免下采样与后续上采样。
• 采用并行的高、低分辨率子网络，通过多尺度拼接进行融合，使高分辨率特征能够从低分辨率特征中获取上下文信息。
• 来自不同尺度的特征图通过直接拼接实现，受Inception模块启发，以增强多层级特征的整合。
• 使用瓶颈残差块以稳定训练并加速收敛，同时保持高质量的视觉输出。
• 网络采用预训练的VGG19作为损失网络，用于内容与风格损失的计算，研究发现其在本任务中优于VGG16。
• 在像素空间应用拉普拉斯损失，以保留低层次细节并减少生成图像中的失真。

实验结果

研究问题

• RQ1 在整个网络中保持高分辨率是否能提升逼真风格迁移中结构细节的保留？
• RQ2 高、低分辨率子网络之间的多尺度特征融合如何影响风格化图像的质量与保真度？
• RQ3 与VGG16相比，使用VGG19作为损失网络是否能提升逼真风格迁移的性能？
• RQ4 与现有神经风格迁移方法相比，所提方法在多大程度上减少了失真与伪影？
• RQ5 所提架构是否能在保持或提升视觉质量的同时实现更快的推理速度？

主要发现

• 与Reinhard等人（2001）及Pitie等人（2005）相比，该方法在用户偏好评分中分别获得53.27%的更高语义信息评分与62.81%的更好视觉效果评分，显著优于其在感知质量方面的表现。
• 与Neural Style、CNNMRF及Luan等人（2017）相比，该方法在语义信息保留方面获得53.76%的偏好评分，在视觉效果方面获得50.54%的偏好评分，表明其具有更优的感知质量。
• 该模型在512×512分辨率下生成图像的速度为126.84毫秒，显著快于Johnson等人（2016）与Luan等人（2017），证明了其推理效率的提升。
• 通过定性对比可见，该方法减少了结构失真，保留了精细细节，表现为更少的伪影与更准确的内容结构保留。
• 消融研究证实，使用VGG19作为损失网络的性能优于VGG16。
• 在512×512分辨率下，该模型达到PSNR为19.82，SSIM为0.873，表明其具有出色的感知与结构保真度。