[论文解读] VMFormer: End-to-End Video Matting with Transformer

Jiachen Li, Vidit Goel+4 more|arXiv (Cornell University)|Aug 26, 2022

Image Enhancement Techniques被引用 8

一句话总结

VMFormer 提出了一种基于视觉变换器的端到端、无需三元图（trimap-free）的视频抠像方法，通过可学习查询（learnable queries）和交叉注意力（cross-attention）建模全局图像特征与长程时间依赖关系。该方法在合成基准数据集上实现了最先进（SOTA）的性能，并具备实时推理速度，优于以往基于卷积神经网络（CNN）的方法。

ABSTRACT

Video matting aims to predict the alpha mattes for each frame from a given input video sequence. Recent solutions to video matting have been dominated by deep convolutional neural networks (CNN) for the past few years, which have become the de-facto standard for both academia and industry. However, they have inbuilt inductive bias of locality and do not capture global characteristics of an image due to the CNN-based architectures. They also lack long-range temporal modeling considering computational costs when dealing with feature maps of multiple frames. In this paper, we propose VMFormer: a transformer-based end-to-end method for video matting. It makes predictions on alpha mattes of each frame from learnable queries given a video input sequence. Specifically, it leverages self-attention layers to build global integration of feature sequences with short-range temporal modeling on successive frames. We further apply queries to learn global representations through cross-attention in the transformer decoder with long-range temporal modeling upon all queries. In the prediction stage, both queries and corresponding feature maps are used to make the final prediction of alpha matte. Experiments show that VMFormer outperforms previous CNN-based video matting methods on the composited benchmarks. To our best knowledge, it is the first end-to-end video matting solution built upon a full vision transformer with predictions on the learnable queries. The project is open-sourced at https://chrisjuniorli.github.io/project/VMFormer/

研究动机与目标

• 为解决基于CNN的视频抠像模型存在的局部归纳偏置（local inductive bias）与长程建模能力差的问题。
• 开发一种端到端的视频抠像框架，利用自注意力（self-attention）与交叉注意力（cross-attention）机制实现全局特征融合。
• 通过基于查询的时间建模方式，实现高效且鲁棒的长程时间依赖建模，同时避免过高的计算开销。
• 在保持高精度的同时实现实时推理，适用于具有挑战性的视频抠像基准测试。
• 通过设计无需三元图标注的端到端解决方案，消除对昂贵三元图标注的依赖。

提出的方法

• VMFormer采用双分支架构：特征建模分支使用CNN主干网络与变换器编码器，用于全局特征提取；查询建模分支使用变换器解码器，用于生成alpha抠像预测。
• 编码器中的自注意力机制实现了单帧内空间维度上全局特征的整合。
• 解码器中的交叉注意力将可学习查询与全局特征序列连接，生成与帧相关的预测结果。
• 短程特征时间建模（SFTM）通过连续特征图的循环聚合，增强局部时间一致性。
• 长程基于查询的时间建模（LQTM）在查询之间学习注意力权重，高效建模长程时间依赖关系。
• 通过将每帧对应的查询与特征图进行矩阵乘法，生成最终的alpha抠像预测。

实验结果

研究问题

• RQ1 基于视觉变换器的架构是否能通过捕捉全局空间特征与长程时间依赖关系，在端到端视频抠像任务中超越基于CNN的模型？
• RQ2 可学习查询与交叉注意力机制如何被有效利用，以在无三元图监督的情况下生成高精度的alpha抠像？
• RQ3 是否能通过在查询层面而非完整特征图上实现时间建模，实现更高效的计算？
• RQ4 所提出的LQTM模块是否在长程时间一致性方面优于基于特征或后处理的时间建模方法？
• RQ5 纯基于变换器的视频抠像模型是否能在保持最先进精度的同时实现实时推理？

主要发现

• 在VideoMatte240K、BG20K与DVM的合成测试集上，VMFormer在512×288分辨率下达到4.91 MAD、0.55 MSE、0.40 Grad与0.25 Conn，性能最优。
• 在高分辨率输入（1920×1080）下，VMFormer实现4.81 MAD、0.78 MSE、4.90 Grad与3.34 Conn，优于所有基于CNN的基线模型。
• 在RVM测试集上，VMFormer超越所有对比模型（包括在分割数据上联合训练的模型），且无需额外预训练。
• 模型保持了实时推理速度，在单张A6000 GPU上以512×288分辨率实现与基于CNN模型相当的FPS。
• 可视化结果表明，VMFormer生成的特征图质量更高，前景与背景区分更清晰，尤其在模糊或色彩遮挡区域表现更优。
• 消融实验表明，SFTM中的循环聚合与LQTM中的加性注意力机制在降低计算成本的同时，实现了最佳性能。