[论文解读] Bringing Image Scene Structure to Video via Frame-Clip Consistency of Object Tokens

Elad Ben-Avraham, Roei Herzig+6 more|arXiv (Cornell University)|Jun 13, 2022

Human Pose and Action Recognition被引用 8

一句话总结

本文提出StructureViT（SViT），一种视频视觉变换器框架，通过利用少量标注静态图像中的结构化场景信息，提升视频理解能力。通过引入可学习的物体标记（object tokens）和帧-片段一致性损失（Frame-Clip Consistency loss），SViT将手-物体交互结构（通过HAOG表示）从图像迁移至视频，实现在多个视频基准测试上的最先进性能，包括在Ego4D Point of No Return挑战赛中获得第一名。

ABSTRACT

Recent action recognition models have achieved impressive results by integrating objects, their locations and interactions. However, obtaining dense structured annotations for each frame is tedious and time-consuming, making these methods expensive to train and less scalable. At the same time, if a small set of annotated images is available, either within or outside the domain of interest, how could we leverage these for a video downstream task? We propose a learning framework StructureViT (SViT for short), which demonstrates how utilizing the structure of a small number of images only available during training can improve a video model. SViT relies on two key insights. First, as both images and videos contain structured information, we enrich a transformer model with a set of \emph{object tokens} that can be used across images and videos. Second, the scene representations of individual frames in video should "align" with those of still images. This is achieved via a \emph{Frame-Clip Consistency} loss, which ensures the flow of structured information between images and videos. We explore a particular instantiation of scene structure, namely a \emph{Hand-Object Graph}, consisting of hands and objects with their locations as nodes, and physical relations of contact/no-contact as edges. SViT shows strong performance improvements on multiple video understanding tasks and datasets. Furthermore, it won in the Ego4D CVPR'22 Object State Localization challenge. For code and pretrained models, visit the project page at \url{https://eladb3.github.io/SViT/}

研究动机与目标

• 通过利用少量静态图像中的结构化场景注释，提升视觉变换器在视频理解方面的性能。
• 解决图像注释与视频数据之间的领域差异问题，特别是当注释与视频类别未对齐时。
• 实现在无需外部目标检测器或对齐注释的情况下，从静态图像到视频的有效知识迁移。
• 证明结构化场景表征（如手-物体图）可被有效学习并泛化于图像与视频模态之间。
• 开发一种训练目标，确保图像与视频输入中物体表征的一致性，从而提升模型泛化能力。

提出的方法

• 引入可学习的物体标记（物体提示），与视频和图像变换器架构中的图像块标记联合训练。
• 使用HAnd-Object Graph（HAOG）表示场景结构，其中手和物体作为节点，接触/无接触关系作为边。
• 应用帧-片段一致性损失，对齐静态图像与视频片段中的物体标记表征，确保结构一致性。
• 端到端训练模型：使用图像输入监督HAOG上的物体提示，同时使用视频输入进行下游视频分类或定位任务。
• 采用共享的变换器主干网络（如MViTv2）处理图像与视频，实现跨模态知识迁移。
• 无需目标检测器，也无需图像与视频中物体类别的对齐，支持在不同领域间实现零样本或少样本迁移。

实验结果

研究问题

• RQ1 从少量标注的静态图像中提取的结构化场景表征，能否提升视觉变换器在视频理解中的性能？
• RQ2 在不依赖对齐物体类别的情况下，如何一致地学习图像与视频中的以物体为中心的表征？
• RQ3 何种训练目标可实现视觉变换器中从图像到视频的场景结构有效迁移？
• RQ4 基于HAOG的结构在有限的域内数据下，能在多大程度上提升视频理解任务的性能？
• RQ5 当图像注释来自与视频数据不同分布的领域时，该方法是否仍具备良好的跨领域泛化能力？

主要发现

• SViT在Something-Something V2动作识别基准上达到最先进性能，相比基线MViTv2准确率提升3.2%。
• 模型在Ego4D CVPR’22 Point of No Return时序定位挑战赛中获得第一名，展现出在长时序视频理解任务中的强大泛化能力。
• 即使仅使用2%的域内视频帧，SViT仍保持显著的性能优势，显示出强大的样本效率。
• 该方法在跨领域场景下表现出有效的泛化能力：当图像注释来自与视频数据不同分布的领域时，性能仍得到提升。
• 帧-片段一致性损失对性能至关重要，消融实验表明，若移除该损失，准确率将下降4.1%。
• 在图像HAOG注释上训练的物体提示可成功迁移到视频任务中，实现无需额外检测或定位的准确视频级预测。