[论文解读] Synthesising Dynamic Textures using Convolutional Neural Networks

Christina M. Funke, Leon A. Gatys+2 more|arXiv (Cornell University)|Feb 22, 2017

Generative Adversarial Networks and Image Synthesis参考文献 11被引用 13

一句话总结

本文提出一种参数化模型，利用预训练卷积神经网络（CNN）提取的时空汇总统计量，合成动态纹理。通过将静态纹理合成中的格拉姆矩阵方法扩展至包含多帧之间的时序相关性，该方法无需微调即可生成逼真的动态纹理，即使仅从两帧初始图像也能实现多样且连贯的运动效果，但在全局一致且结构化的运动上表现不佳。

ABSTRACT

Here we present a parametric model for dynamic textures. The model is based on spatiotemporal summary statistics computed from the feature representations of a Convolutional Neural Network (CNN) trained on object recognition. We demonstrate how the model can be used to synthesise new samples of dynamic textures and to predict motion in simple movies.

研究动机与目标

• 开发一种可泛化且参数高效的动态纹理合成模型，无需为每种纹理重新训练网络。
• 探究预训练CNN的时空统计量是否能够捕捉视频纹理中的复杂运动模式。
• 研究生成合理、长时间动态纹理所需的最小时间上下文（如两帧）。
• 评估模型在生成视频中保持运动连贯性和结构动态的能力。
• 将该方法与现有基于CNN的动态纹理生成方法进行性能比较。

提出的方法

• 该方法通过将预训练CNN（VGG-19）中Δt个连续帧的特征图拼接，计算时空格拉姆矩阵，形成一个大型特征矩阵。
• 从该拼接矩阵中计算单一格拉姆矩阵，以编码至多Δt阶的时空相关性。
• 最终模型使用输入视频中所有可能的Δt大小时间窗口的格拉姆矩阵平均值，以捕捉时空统计特性。
• 通过从白噪声初始化开始的梯度优化方法生成新帧，最小化损失函数以匹配目标格拉姆矩阵。
• 损失函数强制生成帧的时空特征统计量与源视频中提取的统计量保持相似。
• 该模型支持初始帧的随机初始化，也支持使用源视频中的真实帧进行初始化，以实现视频预测。

实验结果

研究问题

• RQ1 预训练CNN特征图中的时空统计量是否能有效建模动态纹理而无需微调？
• RQ2 生成合理、长时间动态纹理所需的最少帧数是多少？
• RQ3 该模型在结构化动态纹理（如摇曳的树枝）中，能在多大程度上保持全局运动连贯性？
• RQ4 增大时间窗口大小Δt如何影响生成纹理的真实感与多样性？
• RQ5 通过使用源视频中的真实帧进行初始化，该模型能否用于预测视频序列的未来帧？

主要发现

• 该模型仅使用两帧初始图像即可成功生成多样且视觉上可信的动态纹理，表明最小时间上下文已足以实现连贯的运动合成。
• 当使用42帧训练时，生成的纹理熵更低、视觉质量更优，表明其稳定性与真实感得到提升。
• 对于结构化运动（如摇曳的树枝），将Δt从2增加到4可捕捉更广范围的运动，但无法再现所有叶片同步运动的全局连贯性。
• 通过迭代合成帧，该模型可生成任意长度的视频，在600多帧内保持一致的图像质量且无退化。
• 使用源视频中的真实帧进行初始化，可准确预测未来运动（如松鼠飞过场景），并保持运动方向与连续性。
• 尽管在多数动态纹理上表现优异，该模型仍无法捕捉全局连贯运动中的复杂时序依赖关系，表明其存在关键局限性。