[论文解读] StoryDiffusion: Consistent Self-Attention for Long-Range Image and Video Generation

Yupeng Zhou, Daquan Zhou+3 more|arXiv (Cornell University)|May 2, 2024

Video Analysis and Summarization被引用 4

一句话总结

本文提出 StoryDiffusion，一种无需训练的生成方法，通过使用一致自注意力（Consistent Self-Attention）实现图像与视频生成中的一致性，该方法通过将参考图像中的标记嵌入自注意力计算，提升生成图像中身份与着装的一致性。此外，本文提出语义运动预测器（Semantic Motion Predictor），实现平滑稳定的视频生成，在定量指标与用户研究中均优于当前最先进方法。

ABSTRACT

For recent diffusion-based generative models, maintaining consistent content across a series of generated images, especially those containing subjects and complex details, presents a significant challenge. In this paper, we propose a new way of self-attention calculation, termed Consistent Self-Attention, that significantly boosts the consistency between the generated images and augments prevalent pretrained diffusion-based text-to-image models in a zero-shot manner. To extend our method to long-range video generation, we further introduce a novel semantic space temporal motion prediction module, named Semantic Motion Predictor. It is trained to estimate the motion conditions between two provided images in the semantic spaces. This module converts the generated sequence of images into videos with smooth transitions and consistent subjects that are significantly more stable than the modules based on latent spaces only, especially in the context of long video generation. By merging these two novel components, our framework, referred to as StoryDiffusion, can describe a text-based story with consistent images or videos encompassing a rich variety of contents. The proposed StoryDiffusion encompasses pioneering explorations in visual story generation with the presentation of images and videos, which we hope could inspire more research from the aspect of architectural modifications. Our code is made publicly available at https://github.com/HVision-NKU/StoryDiffusion.

研究动机与目标

• 解决在文生图与文生视频扩散模型中，长期生成图像与视频序列时保持主体一致性（尤其是身份与着装）的挑战。
• 开发一种轻量化、无需训练的方法，在无需微调或大量数据的情况下提升生成一致性。
• 通过实现平滑过渡的视频生成，将一致性扩展至长序列视觉叙事，实现高质量的长程视觉故事生成。
• 探索可提升扩散生成模型可控性与一致性的架构改进。

提出的方法

• 提出一致自注意力（Consistent Self-Attention），一种即插即用模块，通过将参考图像中采样的标记嵌入键与值矩阵，增强自注意力机制，采用共享 Q-K-V 权重，避免重新训练。
• 沿时间维度采用滑动窗口机制，降低内存消耗，支持长序列故事生成。
• 提出语义运动预测器（Semantic Motion Predictor），在语义空间中估计两幅图像之间的运动，实现稳定连贯的视频过渡生成。
• 将一致自注意力与预训练运动模块结合，生成视觉一致性更高、时间过渡更平滑的视频。
• 采用零样本、推理时的方法，无缝集成至现有预训练扩散模型，无需额外训练。
• 采用基于提示的故事分解策略，将每个故事片段映射为单张图像或视频帧，实现一致生成。

实验结果

研究问题

• RQ1 自注意力机制能否在不微调或额外训练的前提下，通过修改提升文生图生成中跨图像的一致性？
• RQ2 如何在长期生成的图像与视频序列中保持主体身份与着装的一致性？
• RQ3 在语义空间中进行运动预测，是否能产生比基于潜在空间的运动预测更稳定的视频过渡？
• RQ4 轻量化、即插即用的模块能否在计算开销极低的前提下实现视觉故事生成的 SOTA 性能？
• RQ5 与 IP-Adapter 和 PhotoMaker 等现有控制方法相比，该方法在用户感知的一致性与可控性方面表现如何？

主要发现

• 在主体一致的图像生成中，StoryDiffusion 用户偏好得分为 72.8%，显著优于 IP-Adapter（10.4%）与 PhotoMaker（16.8%）。
• 在过渡视频生成中，StoryDiffusion 用户偏好得分为 82%，超越 SEINE（11.6%）与 SparseCtrl（6.4%）。
• 定量结果显示，StoryDiffusion 的 LPIPS-frames 为 0.1635，CLIPSIM-frames 为 0.9870，在全部四项指标上均优于 SEINE 与 SparseCtrl。
• 消融实验表明，一致自注意力中采样率为 0.5 时，在一致性与对扩散过程最小干扰之间达到最佳平衡。
• 该方法在与 PhotoMaker 结合时仍能有效保持身份与着装一致性，验证了其可扩展性与即插即用的兼容性。
• 语义运动预测器生成的视频比基于潜在空间的方法更稳定，该结论通过定量指标与定性用户评估均得到验证。