[论文解读] HERO: HiErarchical spatio-tempoRal reasOning with Contrastive Action Correspondence for End-to-End Video Object Grounding

Mengze Li, Tianbao Wang+7 more|arXiv (Cornell University)|Aug 11, 2022

Multimodal Machine Learning Applications被引用 4

一句话总结

HERO 提出了一种新颖的端到端视频目标定位框架，通过引入弱监督对比学习实现动作一致的帧检索，以及采用具有金字塔结构和偏移对齐机制的层次化多头注意力机制，解决了跨模态对应不完整和时空局部性不敏感的问题。该方法在两个基准数据集上实现了最先进性能，显著优于先前方法。

ABSTRACT

Video Object Grounding (VOG) is the problem of associating spatial object regions in the video to a descriptive natural language query. This is a challenging vision-language task that necessitates constructing the correct cross-modal correspondence and modeling the appropriate spatio-temporal context of the query video and caption, thereby localizing the specific objects accurately. In this paper, we tackle this task by a novel framework called HiErarchical spatio-tempoRal reasOning (HERO) with contrastive action correspondence. We study the VOG task at two aspects that prior works overlooked: (1) Contrastive Action Correspondence-aware Retrieval. Notice that the fine-grained video semantics (e.g., multiple actions) is not totally aligned with the annotated language query (e.g., single action), we first introduce the weakly-supervised contrastive learning that classifies the video as action-consistent and action-independent frames relying on the video-caption action semantic correspondence. Such a design can build the fine-grained cross-modal correspondence for more accurate subsequent VOG. (2) Hierarchical Spatio-temporal Modeling Improvement. While transformer-based VOG models present their potential in sequential modality (i.e., video and caption) modeling, existing evidence also indicates that the transformer suffers from the issue of the insensitive spatio-temporal locality. Motivated by that, we carefully design the hierarchical reasoning layers to decouple fully connected multi-head attention and remove the redundant interfering correlations. Furthermore, our proposed pyramid and shifted alignment mechanisms are effective to improve the cross-modal information utilization of neighborhood spatial regions and temporal frames. We conducted extensive experiments to show our HERO outperforms existing techniques by achieving significant improvement on two benchmark datasets.

研究动机与目标

• 为解决视频目标定位中跨模态语义对应不完整的问题，即视频内容通常包含多个动作，而文本查询仅对应单一动作。
• 克服 Transformer 模型在视频建模中对时空局部性不敏感的问题，从而限制细粒度特征对齐。
• 通过在多粒度上显式建模空间与时间依赖性，提升跨模态对齐与特征表示。
• 构建一个统一的端到端框架，通过结构化的层次化推理，同时提升检索与定位的准确性。

提出的方法

• 引入弱监督对比学习模块，基于视频-字幕中的动作语义对应关系，将视频帧分类为动作一致或动作无关。
• 设计一种层次化多头自注意力机制，将全连接注意力解耦为属性-空间、动作-空间和动作-时间注意力头，以减少干扰并提升局部性敏感度。
• 采用金字塔对齐机制，增强相邻空间区域与时间帧之间的跨模态信息利用。
• 引入偏移对齐机制，通过重新加权具有偏移位置的注意力图，更好地捕捉空间与时间依赖性。
• 将上述组件整合为统一的端到端模型，联合优化动作检索与目标定位任务。
• 采用从粗到精的检索策略，先识别动作一致的帧，再细化目标定位。

实验结果

研究问题

• RQ1 当视频语义比文本查询更细粒度时，弱监督对比学习在视频目标定位中如何改善跨模态对齐？
• RQ2 具有解耦注意力头的层次化注意力机制在多大程度上提升了视频 Transformer 对时空局部性的建模能力？
• RQ3 金字塔与偏移对齐机制是否能增强跨模态特征在空间与时间维度上的利用效率？
• RQ4 HERO 框架中的各个组件对整体性能提升的贡献如何？
• RQ5 所提出的层次化推理框架是否在标准基准上优于标准的基于 Transformer 的模型？

主要发现

• 在 VidSTG 数据集上，HERO 达到 63.8% 的平均 mAP，显著优于之前的 SOTA 方法（63.1%）和基线模型（60.4%）。
• 在 MSVD 数据集上，HERO 达到 64.5% mAP，超过最佳基线（63.3%），并在两个基准上均表现出一致的性能提升。
• 消融实验表明，若移除任意组件（如从粗到精的动作检索或层次化 MSA 模块），性能均出现可测量的下降，证实其必要性。
• 所有组件联合使用时性能最高，表明对比学习、层次化注意力与对齐机制具有互补性贡献。
• 可视化结果表明，HERO 预测的边界框更准确，且与真实标注对齐更好，尤其在包含多个动作的复杂场景中表现更优。
• 与性能最佳的基线模型 STVGBert 相比，该模型展现出更强的表征学习与检测能力，尤其在定位由细粒度动作描述的对象时优势明显。