[论文解读] Long-Term Feature Banks for Detailed Video Understanding

Chao-Yuan Wu, Christoph Feichtenhofer+4 more|arXiv (Cornell University)|Dec 12, 2018

Human Pose and Action Recognition参考文献 54被引用 33

一句话总结

本文提出一种长期特征库（LFB），用于在整个视频中存储时间索引的、支持性的视觉特征（如目标检测结果），以增强3D卷积视频模型。通过将长程上下文与短期特征学习解耦，LFB在AVA、EPIC-Kitchens和Charades数据集上实现了最先进性能，通过基于注意力机制整合长程上下文，显著提升了动作识别与定位能力。

ABSTRACT

To understand the world, we humans constantly need to relate the present to the past, and put events in context. In this paper, we enable existing video models to do the same. We propose a long-term feature bank---supportive information extracted over the entire span of a video---to augment state-of-the-art video models that otherwise would only view short clips of 2-5 seconds. Our experiments demonstrate that augmenting 3D convolutional networks with a long-term feature bank yields state-of-the-art results on three challenging video datasets: AVA, EPIC-Kitchens, and Charades.

研究动机与目标

• 解决现有视频模型仅依赖短片段（2–5秒）进行推理的局限性，避免遗漏长程上下文线索。
• 通过将长期上下文与短期特征学习解耦，提升视频理解能力，实现更丰富的时序建模。
• 开发一种灵活的辅助特征库，用于存储目标检测结果及其他表示，适用于多种视频任务。
• 证明长程上下文显著提升时空动作定位、动词/名词分类及视频分类任务的性能。

提出的方法

• 长期特征库（LFB）使用预训练检测器（如Faster R-CNN）从整个视频中提取并存储时间索引的预提取特征（如目标检测结果）。
• 通过注意力机制将LFB与3D CNN集成，将当前片段特征与特征库中相关的长程特征对齐。
• 注意力机制通过比较查询特征（来自3D CNN）与键特征（来自LFB）计算上下文感知权重，实现长程上下文的动态利用。
• 通过相应调整注意力机制与预测头，该方法支持多种输出类型：帧级、视频级以及时空动作定位。
• 采用两阶段训练策略以防止过拟合，特别是在主干网络预训练后添加LFB时。
• 在AVA数据集上，训练期间对STO（自注意力时序排序）模块应用“干扰物”正则化技术，以防止过拟合。

实验结果

研究问题

• RQ1 在原本仅处理短片段的3D CNN中，长程视觉上下文是否能显著提升视频理解能力？
• RQ2 将长期特征存储与短期特征学习解耦，对多样化视频理解任务的性能有何影响？
• RQ3 与标准3D CNN相比，LFB在时空动作定位、动词/名词分类及视频分类任务上的性能提升程度如何？
• RQ4 LFB带来的性能提升是否与更强的主干网络或更优的短期特征学习具有互补性？
• RQ5 LFB能否被有效正则化，以避免在具有复杂长程依赖关系的数据集中出现过拟合？

主要发现

• 与标准3D CNN相比，LFB在AVA上的mAP提升了1.5–2.0个百分点，实现了时空动作定位的最先进性能。
• 在EPIC-Kitchens数据集中，LFB使动词识别准确率提升超过2%，名词识别准确率提升超过3%。
• 在Charades数据集中，使用R101-I3D-NL主干网络时，LFB达到42.5%的mAP，显著优于基线3D CNN（38.3%）和STO（41.0%）。
• 消融实验证实，性能提升源于长程上下文的整合，而非仅因主干网络性能增强；LFB与主干网络优化的增益具有互补性。
• 训练期间使用“干扰物”特征有效正则化了AVA数据集上的STO模块，减少过拟合并提升泛化能力。
• LFB在多种任务中表现优异——包括帧级、视频级及时空定位任务，展现出广泛的适用性。