[论文解读] Joint Bilateral Learning for Real-time Universal Photorealistic Style Transfer

Xide Xia, Meng Zhang+5 more|arXiv (Cornell University)|Apr 23, 2020

Generative Adversarial Networks and Image Synthesis参考文献 26被引用 5

一句话总结

该论文提出了一种基于前馈神经网络的实时、逼真风格迁移方法，通过在双线性空间中学习局部边缘感知仿射变换，确保了逼真性。该方法在移动设备上实现了4K实时性能——比之前的方法快三个数量级——同时生成清晰、无伪影的结果，并在未见过的输入上表现出渐进式退化。

ABSTRACT

Photorealistic style transfer is the task of transferring the artistic style of an image onto a content target, producing a result that is plausibly taken with a camera. Recent approaches, based on deep neural networks, produce impressive results but are either too slow to run at practical resolutions, or still contain objectionable artifacts. We propose a new end-to-end model for photorealistic style transfer that is both fast and inherently generates photorealistic results. The core of our approach is a feed-forward neural network that learns local edge-aware affine transforms that automatically obey the photorealism constraint. When trained on a diverse set of images and a variety of styles, our model can robustly apply style transfer to an arbitrary pair of input images. Compared to the state of the art, our method produces visually superior results and is three orders of magnitude faster, enabling real-time performance at 4K on a mobile phone. We validate our method with ablation and user studies.

研究动机与目标

• 开发一种快速、端到端的神经网络，用于通用的逼真风格迁移，实现实时运行于移动设备。
• 通过学习保留边缘结构和色彩一致性的局部仿射变换来强制实现逼真性。
• 消除基于网格的风格迁移方法中常见的空间网格伪影。
• 确保在分布外或对抗性输入上的鲁棒性及渐进式退化。
• 在推理时无需后处理或优化即可实现高性能。

提出的方法

• 该模型使用前馈深度神经网络来预测双线性空间中的仿射变换，其中每个像素的变换都是局部仿射且边缘感知的。
• 网络通过预测表示局部仿射变换的双线性网格系数，将输入图像映射为风格化输出。
• 引入了一种双线性空间拉普拉斯正则化器，以抑制网格伪影并提高空间平滑性。
• 网络在多样化的图像对上进行端到端训练，通过在颜色空间中的局部仿射映射强制实现逼真性约束。
• 推理阶段使用低分辨率特征提取头（256×256）进行系数预测，随后在全分辨率上通过硬件加速的三线性插值完成。
• 模型量化为16位浮点数，以实现移动GPU上的高效部署。

实验结果

研究问题

• RQ1 前馈神经网络是否能在移动硬件上实现在4K分辨率下的实时逼真风格迁移？
• RQ2 双线性空间中的局部仿射变换是否能内在地实现逼真性，而无需优化或后处理？
• RQ3 与最先进方法相比，该模型在未见或对抗性输入上的表现如何？
• RQ4 该模型能否在保持时间一致性和风格一致性的同时泛化到视频序列？
• RQ5 与现有方法相比，该模型在逼真性、风格化保真度和视觉质量之间的权衡如何？

主要发现

• 该方法在移动手机上实现了4K分辨率下的实时性能，16位量化下帧率超过30 Hz。
• 与最先进方法相比，该模型快了三个数量级，且推理时间几乎与分辨率无关。
• 用户研究表明，该方法在整体图像质量和风格化保真度方面优于PhotoWCT、LST和WCT 2，且在逼真性方面与WCT 2相当。
• 该模型生成清晰、无伪影的结果，并在未见输入（如人像或单色图像）上表现出渐进式退化。
• 视频风格迁移无需额外正则化即可保持时间一致性，表明其对动态内容具有强大的泛化能力。
• 双线性空间拉普拉斯正则化器成功消除了基于网格方法中常见的空间网格伪影。