[论文解读] Photorealistic Style Transfer for Videos

Michael L. Honke, Rahul Iyer+1 more|arXiv (Cornell University)|Jul 1, 2018

Image Enhancement Techniques参考文献 5被引用 9

一句话总结

本文提出了一种深度学习框架，通过结合Luan等人[4]的逼真风格正则化与Ruder等人[1]的时间一致性损失，实现逼真视频风格迁移。该方法整合了局部仿射色彩空间变换与语义分割，以稳定视频帧之间的风格化效果，实现了减少闪烁与形变的逼真结果。

ABSTRACT

Photorealistic style transfer is a technique which transfers colour from one reference domain to another domain by using deep learning and optimization techniques. Here, we present a technique which we use to transfer style and colour from a reference image to a video.

研究动机与目标

• 解决在保持时间连贯性的同时，将逼真风格迁移应用于视频序列的挑战。
• 减少因视频风格迁移中逐帧优化导致的闪烁与视觉伪影。
• 通过在色彩空间中强制实施局部仿射变换，维持风格迁移过程中的逼真质量。
• 通过整合学习得到的分割掩码，实现语义分割的自动化，以提升风格迁移效果。
• 将逼真图像风格迁移与艺术化视频风格迁移的损失函数统一到一个稳定优化框架中。

提出的方法

• 将Ruder等人[1]的内容损失、风格损失与时间一致性损失，与Luan等人[4]的逼真性正则化损失整合到统一的总损失函数中。
• 应用基于Matting拉普拉斯的损失，以在色彩空间中强制实现局部仿射变换，最小化风格化过程中的图像形变。
• 使用语义分割掩码（通过Zhou等人[7]自动获取）作为额外输入通道，以按语义区域引导风格迁移。
• 提出一种改进的风格损失 $ L_{s+}^{l} $，通过按语义类别计算Gram矩阵差异，以减少风格溢出效应。
• 利用光流变形技术，实现短期与长期时间损失，以惩罚沿运动轨迹的帧间不一致性。
• 通过深度神经网络端到端优化总损失函数，生成保持内容与逼真性的风格化视频帧。

实验结果

研究问题

• RQ1 能否在不引入闪烁或时间不一致性的情况下，有效将逼真风格迁移扩展到视频序列？
• RQ2 如何强制实施局部色彩空间变换，以在风格迁移过程中保持图像结构与逼真性？
• RQ3 整合语义分割在多大程度上提升了风格化视频输出的质量与一致性？
• RQ4 结合内容、风格、逼真性与时间一致性损失的联合损失函数，能否实现稳定且高保真的视频风格迁移？
• RQ5 短期与长期时间约束在稳定帧间风格迁移方面有何差异？

主要发现

• Luan等人[4]的逼真性正则化整合显著减少了图像形变，并提升了风格化视频帧的视觉保真度。
• 使用语义分割掩码可实现更上下文感知的风格迁移，减少风格溢出并提升区域特定的一致性。
• 基于光流轨迹的时间损失能有效最小化闪烁，确保相邻帧之间过渡平滑。
• 通过在统一优化框架中结合多个损失组件，该方法实现了整个视频序列中稳定且逼真的风格迁移。
• 长期时间损失（考虑多个历史帧）相比短期逐帧优化，进一步增强了时间一致性。