[论文解读] Boundary Content Graph Neural Network for Temporal Action Proposal Generation

Yueran Bai, Yingying Wang+4 more|arXiv (Cornell University)|Aug 4, 2020

Human Pose and Action Recognition参考文献 29被引用 7

一句话总结

本文提出边界内容图神经网络（BC-GNN），一种基于图的新颖框架，通过建模时间边界预测与动作内容特征之间的交互，生成高质量的动作提议。通过将边界视为节点、内容视为边，并采用自定义的图推理操作，BC-GNN 同时提升了边界精度与内容置信度，在无需复杂后处理或辅助组件的情况下，于 ActivityNet-1.3 和 THUMOS14 上达到最先进性能。

ABSTRACT

Temporal action proposal generation plays an important role in video action understanding, which requires localizing high-quality action content precisely. However, generating temporal proposals with both precise boundaries and high-quality action content is extremely challenging. To address this issue, we propose a novel Boundary Content Graph Neural Network (BC-GNN) to model the insightful relations between the boundary and action content of temporal proposals by the graph neural networks. In BC-GNN, the boundaries and content of temporal proposals are taken as the nodes and edges of the graph neural network, respectively, where they are spontaneously linked. Then a novel graph computation operation is proposed to update features of edges and nodes. After that, one updated edge and two nodes it connects are used to predict boundary probabilities and content confidence score, which will be combined to generate a final high-quality proposal. Experiments are conducted on two mainstream datasets: ActivityNet-1.3 and THUMOS14. Without the bells and whistles, BC-GNN outperforms previous state-of-the-art methods in both temporal action proposal and temporal action detection tasks.

研究动机与目标

• 为解决同时具备精确边界与丰富动作内容的高质量时序动作提议生成挑战。
• 显式建模边界概率预测与内容置信度评估之间的交互，而现有方法常忽略此点。
• 通过利用视频片段的图结构表示，提升时序动作提议生成与检测性能。
• 设计一种新颖的图推理机制，在统一框架中同时更新节点（边界）与边（内容）特征。
• 在标准基准上实现最先进性能，且无需依赖复杂后处理或辅助组件。

提出的方法

• BC-GNN 构建图结构，其中以固定间隔的时间位置作为节点，边表示节点对之间的内容（仅当起始时间 < 结束时间时存在）。
• 模型使用一种新颖的图推理操作，通过消息传递机制更新节点（边界）与边（内容）的特征。
• 边特征通过可学习函数更新，聚合来自相连节点及边自身表示的信息。
• 节点特征通过聚合所有关联边的消息进行更新，使边界预测能受益于周围内容信息。
• 最终输出模块利用一个更新后的边及其两个连接节点，预测边界概率与内容置信度分数。
• 最终提议得分通过边界概率与内容置信度的加权组合计算得出，从而实现高质量提议生成。

实验结果

研究问题

• RQ1 建模边界预测与内容置信度之间的交互是否能提升时序动作提议的质量？
• RQ2 如何有效构建图神经网络结构，以同时表达时序提议的边界与内容信息？
• RQ3 具有可学习边更新的有向图是否在提议生成中优于无向图或固定边图？
• RQ4 统一的图基框架是否能超越两阶段或独立预测流水线在时序动作提议生成中的表现？
• RQ5 所提出的图推理机制在标准基准上的性能提升程度如何？

主要发现

• 在 ActivityNet-1.3 上，BC-GNN 实现 100 个提议时 76.73% 的平均召回率，超越先前最先进方法。
• 在 THUMOS14 上，BC-GNN 在 0.3 IoU 阈值下达到 46.3% 的 mAP，优于所有现有两阶段方法。
• 消融实验表明，有向边与边特征更新均至关重要，两者结合使 AUC 提升 0.89 分。
• 该模型在无需额外优化技巧的情况下，在时序动作提议生成与检测任务中均达到最先进性能。
• 图推理模块显著增强了特征表示，最佳性能变体在验证集上达到 68.05% AUC。
• 该方法在不同数据集间泛化能力良好，在 ActivityNet-1.3 与 THUMOS14 上均表现出一致的性能提升。