[论文解读] ConsistI2V: Enhancing Visual Consistency for Image-to-Video Generation

Weiming Ren, Harry Yang+5 more|arXiv (Cornell University)|Feb 6, 2024

Advanced Vision and Imaging被引用 4

一句话总结

ConsistI2V 提出了一种基于扩散模型的方法，通过在第一帧上使用时空注意力机制并利用其低频带进行噪声初始化，以增强图像到视频（I2V）生成中的视觉一致性。该方法在 I2V-Bench 上实现了最先进性能，显著提升了运动平滑度、物体一致性以及布局保真度，相较于以往方法表现更优。

ABSTRACT

Image-to-video (I2V) generation aims to use the initial frame (alongside a text prompt) to create a video sequence. A grand challenge in I2V generation is to maintain visual consistency throughout the video: existing methods often struggle to preserve the integrity of the subject, background, and style from the first frame, as well as ensure a fluid and logical progression within the video narrative. To mitigate these issues, we propose ConsistI2V, a diffusion-based method to enhance visual consistency for I2V generation. Specifically, we introduce (1) spatiotemporal attention over the first frame to maintain spatial and motion consistency, (2) noise initialization from the low-frequency band of the first frame to enhance layout consistency. These two approaches enable ConsistI2V to generate highly consistent videos. We also extend the proposed approaches to show their potential to improve consistency in auto-regressive long video generation and camera motion control. To verify the effectiveness of our method, we propose I2V-Bench, a comprehensive evaluation benchmark for I2V generation. Our automatic and human evaluation results demonstrate the superiority of ConsistI2V over existing methods.

研究动机与目标

• 为解决图像到视频生成中的视觉不一致问题，即模型无法保留第一帧中主体、背景和风格的特性。
• 提升生成视频的运动平滑度与时间连贯性，尤其是在长视频或复杂叙事场景中。
• 开发一种稳健且可泛化的方案，以增强一致性，同时无需微调或架构重构。
• 提出一个综合性基准 I2V-Bench，用于在标准指标之外评估 I2V 生成模型。
• 通过一致的条件输入实现实际应用，例如自回归长视频生成与相机运动控制。

提出的方法

• 引入时空注意力机制，使视频扩散模型在空间和时间维度上均基于第一帧进行条件控制，以保持空间布局与运动一致性。
• 在空间层中应用跨帧注意力，以强化与第一帧内容和结构的细粒度对齐。
• 在时间注意力中引入第一帧特征的局部窗口，以稳定运动轨迹并减少抖动。
• 提出 FrameInit，一种噪声初始化策略，利用第一帧的低频带对齐训练与推理阶段的噪声分布，从而减少视觉漂移。
• 通过复用相同的条件控制与初始化机制，将方法扩展至支持自回归长视频生成与相机运动控制。
• 采用多尺度评估框架，结合 I2V-Bench 中的自动指标与人类评估，覆盖多样化类别。

Figure 1: Comparison of image-to-video generation results obtained from SEINE (Chen et al., 2023c ) and our ConsistI2V . SEINE shows degenerated appearance and motion as the video progresses, while our result maintains visual consistency. We feed the same first frame to SEINE and ConsistI2V and show

实验结果

研究问题

• RQ1 在第一帧上施加时空条件控制，是否能显著提升图像到视频生成中的视觉一致性？
• RQ2 基于第一帧低频分量的噪声初始化，是否能减少视频采样过程中的视觉差异？
• RQ3 与现有 I2V 模型相比，该方法在运动平滑度、物体一致性与布局保真度方面表现如何？
• RQ4 FrameInit 是否可泛化至其他视频生成范式，如自回归长视频生成？
• RQ5 I2V-Bench 在标准指标之外，能在多大程度上提供可靠且全面的 I2V 模型评估？

主要发现

• ConsistI2V 在 I2V-Bench 上实现最先进性能，文本-视频整体一致性平均得分为 97.77，优于 SEINE（97.07）与 DynamiCrafter（95.89）。
• 与 SEINE 相比，运动平滑度平均提升 1.87 分，达到运动平滑度评估中 All 类别的 96.08 分。
• 物体一致性较 SEINE 提升 3.21 分，ConsistI2V 在物体一致性指标 All 类别得分为 32.06，而 SEINE 为 35.43。
• 布局与场景一致性显著改善，ConsistI2V 在场景一致性（All）上得分为 24.81，优于 SEINE 的 27.68。
• FrameInit 有效减少训练与推理阶段的噪声差异，使视频生成更加稳定与一致，尤其在长视频与相机运动场景中表现更优。
• 该方法在自回归长视频生成与相机运动控制任务中表现出良好泛化能力，证明其在标准 I2V 任务之外的可扩展性。

Figure 2: Our ConsistI2V framework. In our model, we concatenate the first frame latent $z^{1}$ to the input noise and perform first frame conditioning by augmenting the spatial and temporal self-attention operations in the model with the intermediate hidden states $z_{h}^{1}$ . During inference, we