[论文解读] DeepMovie: Using Optical Flow and Deep Neural Networks to Stylize Movies

Alexander G. Anderson, Cory P. Berg+2 more|arXiv (Cornell University)|May 26, 2016

Advanced Vision and Imaging参考文献 19被引用 17

一句话总结

本文提出一种利用深度神经网络和光流来实现视频风格迁移的方法，以确保时间上的一致性。通过使用光流将前一帧的风格化输出作为初始化，应用于下一帧，该方法实现了平滑且与物体一致的风格迁移，显著提升了视觉质量，优于独立帧处理或简单的帧间初始化方法。

ABSTRACT

A recent paper by Gatys et al. describes a method for rendering an image in the style of another image. First, they use convolutional neural network features to build a statistical model for the style of an image. Then they create a new image with the content of one image but the style statistics of another image. Here, we extend this method to render a movie in a given artistic style. The naive solution that independently renders each frame produces poor results because the features of the style move substantially from one frame to the next. The other naive method that initializes the optimization for the next frame using the rendered version of the previous frame also produces poor results because the features of the texture stay fixed relative to the frame of the movie instead of moving with objects in the scene. The main contribution of this paper is to use optical flow to initialize the style transfer optimization so that the texture features move with the objects in the video. Finally, we suggest a method to incorporate optical flow explicitly into the cost function.

研究动机与目标

• 解决将神经风格迁移应用于视频时保持时间一致性的挑战。
• 克服独立帧处理方式的局限性，该方式会导致闪烁和纹理运动不一致。
• 改进简单的帧间初始化方法，该方法使风格特征相对于帧固定，而非随物体移动。
• 开发一种利用光流指导连续视频帧间风格迁移优化的方法。
• 探索将光流直接整合到风格迁移损失函数中以增强一致性。

提出的方法

• 该方法通过使用光流将前一帧的风格化输出进行变形，作为下一帧优化过程的初始化，将Gatys等人提出的神经风格迁移扩展至视频。
• 在连续视频帧之间计算光流场，以估计每个像素的运动向量。
• 将前一帧风格化图像经光流变形后的结果，用作下一帧优化过程的初始图像，确保风格特征随物体移动。
• 风格迁移优化使用包含内容损失、风格损失（Gram矩阵差异）和总变差正则化的损失函数。
• 作者提出将光流显式地引入损失函数，以进一步规范时间一致性。
• 对风格图像应用直方图匹配，以更好地处理光照变化和特殊效果，提升鲁棒性。

实验结果

研究问题

• RQ1 如何将神经风格迁移适配于视频，以确保风格化纹理在帧间随运动物体自然移动？
• RQ2 帧独立处理与帧间初始化方法在视频风格迁移中的局限性是什么？如何克服？
• RQ3 光流能否有效用于后续帧的风格迁移优化初始化，以提升时间一致性？
• RQ4 在损失函数中显式包含光流在多大程度上能提升风格化视频的视觉质量和一致性？
• RQ5 如何在神经风格迁移中将简单图像属性（如光照、对比度）与复杂风格特征解耦，以实现更好的艺术控制？

主要发现

• 使用光流对后续每一帧的风格迁移进行初始化，显著提升了视觉质量，使笔触在镜头平移时能自然随物体移动。
• 该方法优于独立帧处理和使用前一帧渲染结果作为初始化的方法，后者会导致纹理固定于帧上并出现‘融化’现象。
• 该方法能有效处理渐进式场景变化，例如被移动遮挡物逐渐揭示的表面，保持风格化的一致性。
• 在处理特效或光照复杂的场景时，该方法可能产生形变伪影，表明其在处理动态光照或透明度方面存在局限。
• 对风格图像应用直方图匹配可改善光照变化场景下的结果，减少由光照差异引起的不一致。
• 作者观察到，尽管统计一致性得到提升，但艺术意图通常受益于一定程度的帧间差异，表明一致性与表现力之间存在权衡。