[论文解读] Localizing Unseen Activities in Video via Image Query

Zhu Zhang, Zhou Zhao+3 more|arXiv (Cornell University)|Jun 28, 2019

Human Pose and Action Recognition参考文献 22被引用 7

一句话总结

本文提出了一项新任务——基于图像的活动定位（Image-Based Activity Localization），旨在使用图像查询在未修剪的视频中定位未见过的活动。该方法提出了一种自注意力交互定位器（SAIL），利用区域自注意力学习细粒度的图像表征，采用局部Transformer编码器实现图像与视频特征的多层级融合，并引入对顺序敏感的定位器以实现精确的边界预测，在新构建的ActivityIBAL数据集上取得了最先进性能。

ABSTRACT

Action localization in untrimmed videos is an important topic in the field of video understanding. However, existing action localization methods are restricted to a pre-defined set of actions and cannot localize unseen activities. Thus, we consider a new task to localize unseen activities in videos via image queries, named Image-Based Activity Localization. This task faces three inherent challenges: (1) how to eliminate the influence of semantically inessential contents in image queries; (2) how to deal with the fuzzy localization of inaccurate image queries; (3) how to determine the precise boundaries of target segments. We then propose a novel self-attention interaction localizer to retrieve unseen activities in an end-to-end fashion. Specifically, we first devise a region self-attention method with relative position encoding to learn fine-grained image region representations. Then, we employ a local transformer encoder to build multi-step fusion and reasoning of image and video contents. We next adopt an order-sensitive localizer to directly retrieve the target segment. Furthermore, we construct a new dataset ActivityIBAL by reorganizing the ActivityNet dataset. The extensive experiments show the effectiveness of our method.

研究动机与目标

• 解决现有动作定位方法受限于预定义动作集合的局限性。
• 仅使用图像查询作为参考，实现对未修剪视频中未见活动的定位。
• 克服图像查询中无关内容、模糊查询语义以及边界不精确等挑战。
• 构建一个端到端框架，有效对齐图像查询与视频片段之间的视觉语义。
• 构建一个新的基准数据集ActivityIBAL，以支持基于图像的活动定位研究。

提出的方法

• 提出一种带有相对位置编码的区域自注意力机制，从Faster R-CNN特征中学习细粒度的图像区域表征。
• 采用多头局部自注意力的局部Transformer编码器，建模长距离依赖关系，并实现图像与视频特征的多步融合。
• 在顺序敏感的定位器中引入双向聚合机制，整合前后文信息，以实现准确的起始与结束边界预测。
• 使用帧级注意力聚焦于相关图像区域，抑制无关视觉内容。
• 采用多层级交互策略，处理图像查询与视频活动之间既精确又粗略的语义匹配。
• 通过重新组织ActivityNet数据集，将数据划分为训练、验证和测试集，并确保动作类别互不重叠，从而构建ActivityIBAL数据集。

实验结果

研究问题

• RQ1 图像查询能否有效引导在未修剪视频中定位未见过的活动？
• RQ2 模型在定位过程中如何稳健地处理图像查询中的语义非必要内容？
• RQ3 在查询语义模糊或不精确的条件下，多层级特征融合在多大程度上能提升定位性能？
• RQ4 结合过去和未来帧的上下文信息，如何提升边界预测的准确性？
• RQ5 针对使用图像查询进行未见活动的端到端定位，最优的网络架构设计是什么？

主要发现

• 所提出的SAIL模型在ActivityIBAL测试集上达到最高的mIoU（49.66%），优于所有基线模型。
• 消融实验表明，区域自注意力机制至关重要，若移除该模块，mIoU下降至46.63%。
• 当移除多层级交互（SAIL w/o. ML）时，IoU@0.5和IoU@0.7的性能下降更明显，表明其在精确边界定位中的关键作用。
• 局部自注意力与双向聚合组件在处理模糊查询时最为有效，显著降低了在困难样本上的性能退化。
• 最优的局部Transformer编码器深度为五层，层数过少或过多均导致性能下降。
• 模型在困难样本上表现出强鲁棒性，IoU@0.7仍保持24.37%，显著优于其他方法。