[论文解读] Extracting Motion and Appearance via Inter-Frame Attention for Efficient Video Frame Interpolation

Guozhen Zhang, Yuhan Zhu+4 more|arXiv (Cornell University)|Mar 1, 2023

Advanced Vision and Imaging被引用 4

一句话总结

该论文提出 EMA-VFI，一种新颖的视频帧插值方法，通过利用帧间注意力机制，统一地显式提取运动与外观特征，同时利用注意力图增强外观特征，并复用该注意力图进行运动矢量估计。该方法在多个数据集上实现了最先进性能，且计算开销低于同类模型。

ABSTRACT

Effectively extracting inter-frame motion and appearance information is important for video frame interpolation (VFI). Previous works either extract both types of information in a mixed way or elaborate separate modules for each type of information, which lead to representation ambiguity and low efficiency. In this paper, we propose a novel module to explicitly extract motion and appearance information via a unifying operation. Specifically, we rethink the information process in inter-frame attention and reuse its attention map for both appearance feature enhancement and motion information extraction. Furthermore, for efficient VFI, our proposed module could be seamlessly integrated into a hybrid CNN and Transformer architecture. This hybrid pipeline can alleviate the computational complexity of inter-frame attention as well as preserve detailed low-level structure information. Experimental results demonstrate that, for both fixed- and arbitrary-timestep interpolation, our method achieves state-of-the-art performance on various datasets. Meanwhile, our approach enjoys a lighter computation overhead over models with close performance. The source code and models are available at https://github.com/MCG-NJU/EMA-VFI.

研究动机与目标

• 为解决现有 VFI 方法存在的问题，即混合运动与外观特征或使用独立模块，导致表征模糊与高计算成本。
• 实现高效、可扩展且准确的视频帧插值，适用于固定时间步与任意时间步生成。
• 通过将 CNN 与 Transformer 融合的混合架构，保留细粒度低级结构，降低高分辨率输入下的注意力计算开销。
• 使用单一帧间注意力机制统一提取运动与外观特征，避免冗余模块。

提出的方法

• 该方法不仅利用帧间注意力图通过特征聚合来增强外观特征，还复用该注意力图通过邻近特征的加权位移来估计运动矢量。
• 通过关注时间邻近特征来优化外观特征，提升上下文表征能力，同时避免与运动信号混合。
• 直接从注意力图中提取运动特征，实现可扩展的运动线索，适用于任意时间步插值。
• 采用混合 CNN-Transformer 架构：CNN 提取高分辨率低级特征，而带有帧间注意力的 Transformer 块处理低分辨率特征以降低计算成本。
• 模型使用轻量化头进行运动估计与外观优化，确保高效性而不损失性能。
• 可调节 Transformer 块的数量与复杂度，以在性能与推理速度之间取得平衡，实现可扩展部署。

实验结果

研究问题

• RQ1 能否复用帧间注意力图，同时实现外观增强与运动表征，避免使用独立模块？
• RQ2 如何在高分辨率下高效应用帧间注意力，以避免过度计算开销？
• RQ3 从注意力图中提取的运动特征能否有效扩展至任意时间步插值？
• RQ4 混合 CNN-Transformer 设计是否能在降低自注意力计算负担的同时保留细粒度细节？
• RQ5 与最先进 VFI 模型相比，该方法在性能与效率方面表现如何？

主要发现

• EMA-VFI 在 Vimeo90K、Xiph-2K 和 Xiph-4K 数据集上，对固定时间步与任意时间步插值均实现了最先进性能。
• 在 Xiph-2K 数据集上，该方法达到 PSNR 36.74 与 SSIM 0.944，优于先前最先进方法。
• 使用运动特征作为任意时间步插值的提示，效果优于直接注入时间 t，且仅增加 3ms 运行时间。
• 将 Transformer 块数量或通道数加倍可显著提升性能，其中通道数加倍带来的增益更明显，因模型容量更高。
• 在较高阶段用 CNN 替换 Transformer 会降低性能，而仅在最低尺度使用 Transformer 则导致准确率大幅下降，证实多尺度注意力的必要性。
• 该模型在 HD（720p）分辨率下保持 30ms 的低推理时间，在计算效率方面优于具有相似或更优准确率的其他模型。