[论文解读] Real-time Universal Style Transfer on High-resolution Images via Zero-channel Pruning

Jie An, Tao Li+7 more|arXiv (Cornell University)|Jun 16, 2020

Generative Adversarial Networks and Image Synthesis参考文献 60被引用 13

一句话总结

本文提出 ArtNet，一种基于 GoogLeNet 的轻量化风格迁移网络，结合一种新颖的零通道剪枝方法以去除冗余特征，实现在高分辨率图像上的实时通用风格迁移。该方法进一步引入 $\mathbf{S}^{2}$ 模块以提升风格迁移质量，在 512×512 分辨率下实现 68.03 FPS 的性能，同时保持高内容保留度与风格化保真度。

ABSTRACT

Extracting effective deep features to represent content and style information is the key to universal style transfer. Most existing algorithms use VGG19 as the feature extractor, which incurs a high computational cost and impedes real-time style transfer on high-resolution images. In this work, we propose a lightweight alternative architecture - ArtNet, which is based on GoogLeNet, and later pruned by a novel channel pruning method named Zero-channel Pruning specially designed for style transfer approaches. Besides, we propose a theoretically sound sandwich swap transform (S2) module to transfer deep features, which can create a pleasing holistic appearance and good local textures with an improved content preservation ability. By using ArtNet and S2, our method is 2.3 to 107.4 times faster than state-of-the-art approaches. The comprehensive experiments demonstrate that ArtNet can achieve universal, real-time, and high-quality style transfer on high-resolution images simultaneously, (68.03 FPS on 512 times 512 images).

研究动机与目标

• 解决基于 VGG19 的风格迁移模型计算成本过高，难以实现在高分辨率图像上的实时处理问题。
• 开发一种轻量级特征提取器，在显著降低推理延迟的同时保持高风格化质量。
• 克服现有通用风格迁移方法中内容保留与风格迁移质量之间的权衡问题。
• 实现在高分辨率图像（如 512×512）上的实时通用风格迁移，且不损失视觉保真度。
• 设计一种专为风格迁移网络量身定制的剪枝方法，在保持性能的同时加速推理。

提出的方法

• 提出 ArtNet，一种基于 GoogLeNet 的轻量化自编码器架构，取代 VGG19 作为特征提取器，以降低计算成本。
• 引入零通道剪枝（Zero-channel Pruning），一种新颖的通道剪枝方法，可识别并移除预训练网络中 ReLU 激活层内的“零通道”（即空特征图），且无需微调。
• 对与被移除通道对齐的卷积层和批归一化层应用剪枝，以保持网络完整性与效率。
• 设计 $\mathbf{S}^{2}$（三明治交换）模块，通过结合两次 AdaIN 操作与一个风格交换模块，纠正颜色偏差，同时提升风格迁移与内容保留效果。
• 采用多层级特征聚合，以增强风格化输出中的局部纹理表现与整体外观一致性。
• 端到端训练自编码器，使用基于 Gram 矩阵的损失函数，以在保持内容结构的同时优化风格迁移质量。

实验结果

研究问题

• RQ1 轻量化神经网络架构是否可在不降低性能的前提下替代通用风格迁移中的 VGG19？
• RQ2 专为风格迁移网络设计的剪枝方法是否能实现显著加速，且性能损失可忽略？
• RQ3 新颖的特征变换模块是否能同时提升风格迁移质量与内容保留效果？
• RQ4 是否可能在高分辨率图像（512×512）上实现 ≥30 FPS 的实时通用风格迁移，且保持高视觉质量？
• RQ5 所提出的零通道剪枝方法在实现无退化加速方面，相较于现有剪枝方法表现如何？

主要发现

• ArtNet 在 512×512 图像上实现 68.03 FPS，相较于最先进方法提速 2.3× 至 107.4×。
• 零通道剪枝将模型大小与推理时间最多减少 2 倍，且性能退化可忽略，经图像重建与风格迁移结果验证。
• $\mathbf{S}^{2}$ 模块显著提升内容保留与颜色匹配效果，在定性与定量评估中均优于基线模块（如 AdaIN 与 StyleSwap）。
• 在用户研究中，尽管 SSIM 得分为 0.897（排名第二），ArtNet 仍获得用户最高偏好，表明其具有更优的感知质量。
• ArtNet 保持 16× 下采样率，使感受野更大，相比以往方法受限于 4× 或 8×，能更优捕捉局部纹理。
• 消融实验证实，$\mathbf{S}^{2}$ 模块的双 AdaIN 机制能有效纠正颜色失真，增强细节表现，且不损害内容结构。