[论文解读] Depth-Preserving Real-Time Arbitrary Style Transfer.

Konstantin Kozlovtsev, Victor Kitov|arXiv (Cornell University)|Jun 3, 2019

Advanced Image Processing Techniques参考文献 18被引用 3

一句话总结

本文提出了一种通过在AdaIN中引入可学习的风格化强度参数来保持内容图像深度图的实时任意风格迁移方法。与传统方法相比，该方法无需微调即可保持深度信息，避免了深度丢失或重新训练的问题，实现了高效且高质量的风格迁移，同时保留了感知深度，用户研究验证了其有效性。

ABSTRACT

Style transfer is the process of rendering one image with some content in the style of another image, representing the style. Recent studies of Liu et al. (2017) show that traditional style transfer methods of Gatys et al. (2016) and Johnson et al. (2016) fail to reproduce the depth of the content image, which is critical for human perception. They suggest to preserve the depth map by additional regularizer in the optimized loss function, forcing preservation of the depth map. However these traditional methods are either computationally inefficient or require training a separate neural network for each style. AdaIN method of Huang et al. (2017) allows efficient transferring of arbitrary style without training a separate model but is not able to reproduce the depth map of the content image. We propose an extension to this method, allowing depth map preservation by applying variable stylization strength. Qualitative analysis and results of user evaluation study indicate that the proposed method provides better stylizations, compared to the original AdaIN style transfer method.

研究动机与目标

• 解决现有风格迁移方法在内容图像深度图保留方面的局限性，这对人类感知至关重要。
• 克服传统基于优化的风格迁移方法计算效率低下及需要重新训练的问题。
• 扩展高效的AdaIN方法，支持深度保持，同时维持实时性能和任意风格迁移能力。
• 实现高质量的风格化，同时保留原始内容图像的视觉风格与空间深度结构。

提出的方法

• 通过引入一个可学习的风格化强度参数来扩展AdaIN（自适应实例归一化）风格迁移框架，以控制风格应用的程度。
• 在损失函数中集成一个深度图正则化项，以在优化过程中保留内容图像的空间深度结构。
• 在前向传播过程中将深度图作为空间先验，确保风格化输出保持原始的深度布局。
• 使用单个训练好的网络实现任意风格迁移，避免为每种新风格重新训练。
• 通过内容损失、风格损失和深度保持损失的加权组合来优化损失函数，以平衡保真度与风格化效果。
• 按层或特征图自适应地应用风格化强度，以实现对深度保持与风格强度的细粒度控制。

实验结果

研究问题

• RQ1 是否可以修改基于AdaIN的风格迁移方法，在不重新训练的情况下保留内容图像的深度图？
• RQ2 可变的风格化强度如何影响深度保持与风格迁移质量之间的平衡？
• RQ3 所提出的方法在感知深度和用户偏好方面是否优于标准AdaIN和传统基于优化的方法？
• RQ4 是否可以在不牺牲风格迁移效率的前提下实现实时的深度保持风格迁移？

主要发现

• 所提方法成功保留了内容图像的深度结构，经定性分析和用户评估确认。
• 用户评估显示，参与者在视觉真实感和深度感知方面更偏好本方法生成的结果，而非原始AdaIN方法。
• 该方法实现了实时推理速度，保持了原始AdaIN框架的高效性。
• 可变风格化强度的引入显著增强了对风格强度与深度保真度之间权衡的控制能力。
• 与忽略深度结构的标准AdaIN相比，深度图正则化显著提升了深度保持效果。
• 该方法避免了为每种新风格重新训练，同时在保持任意风格迁移灵活性的基础上增加了深度感知能力。