[论文解读] BMN: Boundary-Matching Network for Temporal Action Proposal Generation

Tianwei Lin, Xiao Liu+3 more|arXiv (Cornell University)|Jul 23, 2019

Human Pose and Action Recognition参考文献 35被引用 73

一句话总结

BMN 引入边界匹配机制，用于评估密集分布的时序提案的置信度，实现端到端生成精确提案与可靠分数，从而提升提案生成与检测性能。

ABSTRACT

Temporal action proposal generation is an challenging and promising task which aims to locate temporal regions in real-world videos where action or event may occur. Current bottom-up proposal generation methods can generate proposals with precise boundary, but cannot efficiently generate adequately reliable confidence scores for retrieving proposals. To address these difficulties, we introduce the Boundary-Matching (BM) mechanism to evaluate confidence scores of densely distributed proposals, which denote a proposal as a matching pair of starting and ending boundaries and combine all densely distributed BM pairs into the BM confidence map. Based on BM mechanism, we propose an effective, efficient and end-to-end proposal generation method, named Boundary-Matching Network (BMN), which generates proposals with precise temporal boundaries as well as reliable confidence scores simultaneously. The two-branches of BMN are jointly trained in an unified framework. We conduct experiments on two challenging datasets: THUMOS-14 and ActivityNet-1.3, where BMN shows significant performance improvement with remarkable efficiency and generalizability. Further, combining with existing action classifier, BMN can achieve state-of-the-art temporal action detection performance.

研究动机与目标

• 通过更精确的边界和更可靠的置信分数，推动时序动作提案生成的改进。
• 引入边界匹配机制，能够同时对所有密集提案进行评估。
• 开发端到端的BMN框架，在联合学习边界概率和BM置信度图的同时实现。
• 在 THUMOS-14 和 ActivityNet-1.3 数据集上展示效率与有效性。

提出的方法

• 将一个提案定义为边界起始与边界结束的对，并构建覆盖所有此类对的二维 BM 置信度图。
• 提出 BM 层对起始边界与结束边界之间的特征进行采样，生成编码所有提案上下文信息的 BM 特征图。
• 采用两分支的 BMN 架构：时间评估模块输出边界概率序列；提案评估模块输出 BM 置信度图。
• 在一个统一的多任务框架中联合训练 TEM 和 PEM，TEM 通过边界的损失，PEM 通过 BM 置信度图的损失。
• 将边界概率与BM置信度融合形成最终提案分数，并应用 Soft-NMS 进行抑制。

实验结果

研究问题

• RQ1 边界匹配机制是否能为密集分布、时长灵活的提案提供可靠的置信分数？
• RQ2 与以往自下而上/自上而下的方法相比，端到端的 BMN 模型是否能提供更高的提案质量和效率？
• RQ3 BMN 如何在看不见的动作类别和数据集上具备良好的泛化能力？
• RQ4 TEM 与 PEM 的联合训练对提案生成与检测性能有何影响？

主要发现

• BMN 在 ActivityNet-1.3 和 THUMOS-14 上的提案生成指标显著优于现有方法。
• 在 ActivityNet-1.3 验证集上，使用 TEM+PEM 的消融研究中，BMN 的 AUC 提升至 67.10%，AR@100 提升至 75.01。
• BMN 展现出良好的泛化能力，在 ActivityNet-1.3 的未见动作子集上性能下降很小。
• 联合训练 TEM 与 PEM 相较于单独训练的配置，召回率更高、推断更快。
• 基于 BMN 的提案结合动作分类器，在 ActivityNet-1.3 上达到最先进的时序动作检测性能，在 THUMOS-14 上也表现出竞争力。