[论文解读] AEI: Actors-Environment Interaction with Adaptive Attention for Temporal Action Proposals Generation

Viet-Khoa Vo-Ho, Hyekang Joo+5 more|arXiv (Cornell University)|Oct 21, 2021

Human Pose and Action Recognition参考文献 41被引用 12

一句话总结

该论文提出AEI，一种新颖的视频表征网络，通过自适应注意力机制建模演员-环境交互，以提升时序动作提议生成性能。通过整合环境、演员和交互注意力机制，AEI在ActivityNet-1.3和THUMOS-14数据集上实现了最先进性能，显著优于先前方法，在动作提议生成与检测任务中均取得显著提升。

ABSTRACT

Humans typically perceive the establishment of an action in a video through the interaction between an actor and the surrounding environment. An action only starts when the main actor in the video begins to interact with the environment, while it ends when the main actor stops the interaction. Despite the great progress in temporal action proposal generation, most existing works ignore the aforementioned fact and leave their model learning to propose actions as a black-box. In this paper, we make an attempt to simulate that ability of a human by proposing Actor Environment Interaction (AEI) network to improve the video representation for temporal action proposals generation. AEI contains two modules, i.e., perception-based visual representation (PVR) and boundary-matching module (BMM). PVR represents each video snippet by taking human-human relations and humans-environment relations into consideration using the proposed adaptive attention mechanism. Then, the video representation is taken by BMM to generate action proposals. AEI is comprehensively evaluated in ActivityNet-1.3 and THUMOS-14 datasets, on temporal action proposal and detection tasks, with two boundary-matching architectures (i.e., CNN-based and GCN-based) and two classifiers (i.e., Unet and P-GCN). Our AEI robustly outperforms the state-of-the-art methods with remarkable performance and generalization for both temporal action proposal generation and temporal action detection.

研究动机与目标

• 为解决现有时序动作提议生成（TAPG）方法将视频表征视为黑箱的问题，忽略通过演员-环境交互对动作起始与终止的感知。
• 通过显式建模视频片段中演员与环境之间的交互，模拟人类对动作起始与终止的感知，以提升动作定位精度。
• 通过新型自适应注意力机制，整合全局环境上下文、局部演员特征及其动态交互，增强视频表征能力。
• 证明在视频理解中建模类人感知可带来跨多个数据集和主干网络架构的稳健且可泛化的性能提升。

提出的方法

• 提出感知基础视觉表征（PVR）模块，包含三个专用观察器：环境观察器（全局上下文）、演员观察器（局部演员特征）和交互观察器（建模演员-环境关系）。
• 在演员观察器中采用自适应注意力机制（AAM），动态识别并聚焦于与动作相关性更高的主要演员。
• 通过注意力加权方式，将环境观察器与演员观察器的特征在交互观察器中融合，以突出显著的交互关系。
• 采用边界匹配模块（BMM），支持基于CNN或GCN的架构，从增强的视频表征中生成动作提议。
• 应用非极大值抑制（NMS）根据置信度分数和IoU阈值过滤冗余提议。
• 端到端训练，使用交叉熵损失进行提议分类，以及回归损失进行边界优化。

实验结果

研究问题

• RQ1 在视频片段中建模演员-环境交互是否能超越标准视频表征学习，提升时序动作提议生成性能？
• RQ2 引入自适应注意力机制进行主要演员选择，对动作提议网络性能有何影响？
• RQ3 所提出的AEI框架在不同主干网络架构（CNN与GCN）和数据集（ActivityNet-1.3、THUMOS-14）上的泛化能力如何？
• RQ4 通过环境交互显式建模人类对动作起始与终止的感知，是否能带来更好的检测与提议质量？
• RQ5 PVR模块中各组件（环境、演员、交互观察器）对整体性能的相对贡献如何？

主要发现

• AEI-B（基于CNN的BMM）在THUMOS-14上达到600个提议时58.7%的平均召回率，优于先前最先进方法GTAD*的0.9%和BSN*的5.9%。
• AEI-G（基于GCN的BMM）在THUMOS-14上达到600个提议时57.4%的平均召回率，优于GTAD*的0.8%和BSN*的5.8%。
• 在ActivityNet-1.3上，AEI-B实现AR@100为23.4%、AR@200为35.9%、AR@300为44.7%、AR@500为52.7%、AR@1000为58.7%，在AR@1000上优于先前最先进方法GTAD*的1.3%。
• 消融实验表明，交互观察器和自适应注意力机制至关重要：移除后性能显著下降，'无交互观察器'设置甚至劣于'仅环境'设置。
• 主要演员选择组件的贡献超过特征融合，表明准确识别关键演员比融合策略对性能影响更大。
• AEI在不同BMM架构（CNN与GCN）和分类器（UNet与P-GCN）上均表现出强泛化能力，证实其鲁棒性与设计有效性。