[论文解读] StyleGAN-V: A Continuous Video Generator with the Price, Image Quality and Perks of StyleGAN2

Ivan Skorokhodov, Sergey Tulyakov+1 more|arXiv (Cornell University)|Dec 29, 2021

Advanced Vision and Imaging被引用 8

一句话总结

StyleGAN-V 提出了一种连续时间视频生成框架，通过运动感知的位置嵌入将视频视为时间连续信号，并采用简化高效的判别器。基于 StyleGAN2 构建，其训练成本仅增加约 5%，即可实现接近 StyleGAN2 的图像质量，支持任意长度、高帧率的视频生成，在包括 1024² 分辨率在内的 5 个基准测试中，平均性能优于先前方法 30%。

ABSTRACT

Videos show continuous events, yet most $-$ if not all $-$ video synthesis frameworks treat them discretely in time. In this work, we think of videos of what they should be $-$ time-continuous signals, and extend the paradigm of neural representations to build a continuous-time video generator. For this, we first design continuous motion representations through the lens of positional embeddings. Then, we explore the question of training on very sparse videos and demonstrate that a good generator can be learned by using as few as 2 frames per clip. After that, we rethink the traditional image + video discriminators pair and design a holistic discriminator that aggregates temporal information by simply concatenating frames' features. This decreases the training cost and provides richer learning signal to the generator, making it possible to train directly on 1024$^2$ videos for the first time. We build our model on top of StyleGAN2 and it is just ${\approx}5\%$ more expensive to train at the same resolution while achieving almost the same image quality. Moreover, our latent space features similar properties, enabling spatial manipulations that our method can propagate in time. We can generate arbitrarily long videos at arbitrary high frame rate, while prior work struggles to generate even 64 frames at a fixed rate. Our model is tested on four modern 256$^2$ and one 1024$^2$-resolution video synthesis benchmarks. In terms of sheer metrics, it performs on average ${\approx}30\%$ better than the closest runner-up. Project website: https://universome.github.io.

研究动机与目标

• 解决离散视频生成的局限性，通过将视频建模为连续时间信号。
• 在极小数据量下（每段视频仅 2 帧起）实现高质量、长时长的视频生成。
• 通过重新设计判别器，采用简单的特征拼接而非 3D 卷积，降低训练成本并提升效率。
• 在视频生成中保留 StyleGAN2 的语义可控性与潜在空间特性。
• 实现非自回归、高帧率的视频生成，且在高分辨率数据集上训练稳定、可扩展。

提出的方法

• 在位置嵌入中引入随时间变化的波参数，其依赖于运动码，实现非周期性、视频特异的时序表征。
• 使用无填充的一维卷积网络生成运动码，替代不稳定的 RNN（如 LSTM），以支持非自回归的帧生成。
• 采用整体式判别器，将帧特征拼接并基于时间差进行条件控制，无需单独的图像与视频判别器。
• 每段视频仅采样 2–4 帧，采用均匀随机采样，以降低数据与计算需求。
• 在 StyleGAN2 基础上构建生成器，保留其潜在空间结构，支持随时间传播的语义编辑。
• 首次直接在 1024² 分辨率视频数据集上进行训练，仅比 StyleGAN2 增加约 5% 的训练成本，实现稳定训练。

实验结果

研究问题

• RQ1 能否将视频生成有效建模为连续时间信号，而非离散的帧序列？
• RQ2 是否可能仅用每段视频 2–4 帧来训练高质量的视频生成器？
• RQ3 能否通过简化、基于 2D 的判别器，在降低训练成本的同时超越传统的 3D 卷积判别器？
• RQ4 如何在时序嵌入中解耦运动与位置信息，以避免重复与‘头飞离’等伪影？
• RQ5 StyleGAN2 的潜在空间在多大程度上可被用于可控、长时长的视频生成？

主要发现

• StyleGAN-V 在五个现代视频生成基准测试中，平均性能优于最接近的竞争对手约 30%，涵盖 256² 和 1024² 分辨率。
• 模型仅比 StyleGAN2 增加约 5% 的训练成本，即可直接在 1024² 分辨率视频数据集上训练，实现前所未有的高分辨率高质量生成。
• 可生成任意长度、任意帧率的视频，克服了 MoCoGAN-HD 和 DIGAN 等先前模型在稳定性与长度上的限制。
• 整体式判别器通过拼接帧特征并基于时间差进行条件控制，降低了训练成本，并提供了比独立图像与视频判别器更丰富的梯度信号。
• 模型保留了 StyleGAN2 的潜在空间特性，支持语义编辑（如通过 CLIP）并实现时间上一致的传播。
• 理论上与实证上均验证，每段视频仅 2 帧的训练数据已足够学习有意义的生成器。