[论文解读] Generic Event Boundary Detection Challenge at CVPR 2021 Technical Report: Cascaded Temporal Attention Network (CASTANET)

Dexiang Hong, Congcong Li+3 more|arXiv (Cornell University)|Jul 1, 2021

Anomaly Detection Techniques and Applications参考文献 8被引用 5

一句话总结

该论文提出 CASTANET，一种用于通用事件边界检测（GEBD）的级联时间注意力网络，结合了通道分离卷积网络（CSN）主干网络、使用空洞一维卷积和双向LSTM的多感受野时间注意力模块，以及带有自注意力机制的级联分类头。该方法在Kinetics-GEBD测试集上取得了83.30%的F1分数，相比基线模型提升了20.5%。

ABSTRACT

This report presents the approach used in the submission of Generic Event Boundary Detection (GEBD) Challenge at CVPR21. In this work, we design a Cascaded Temporal Attention Network (CASTANET) for GEBD, which is formed by three parts, the backbone network, the temporal attention module, and the classification module. Specifically, the Channel-Separated Convolutional Network (CSN) is used as the backbone network to extract features, and the temporal attention module is designed to enforce the network to focus on the discriminative features. After that, the cascaded architecture is used in the classification module to generate more accurate boundaries. In addition, the ensemble strategy is used to further improve the performance of the proposed method. The proposed method achieves 83.30% F1 score on Kinetics-GEBD test set, which improves 20.5% F1 score compared to the baseline method. Code is available at https://github.com/DexiangHong/Cascade-PC.

研究动机与目标

• 解决无分类体系的事件边界检测挑战，即边界不与预定义事件类别绑定。
• 通过注意力机制聚焦于判别性时空与语义特征，提升检测性能。
• 通过引入具有多个阈值级别的级联分类模块，克服GEBD中精确率与召回率之间的权衡。
• 通过动态帧采样和音视频特征融合，增强模型的泛化能力与鲁棒性。
• 通过集成学习与架构创新，在Kinetics-GEBD基准上实现最先进性能。

提出的方法

• 使用通道分离卷积网络（CSN）作为主干网络，通过分离的通道与时空卷积高效提取时空特征。
• 采用包含四层空洞一维卷积层（空洞率{1, 2, 4, 8}）和残差连接的时间注意力模块，以捕捉多尺度上下文信息。
• 整合双向LSTM以建模长程时间依赖性，并使用三维最大池化层突出边界相关激活。
• 应用四层自注意力机制（受Transformer启发），学习帧级别的注意力以实现语义理解。
• 将时间特征与注意力特征拼接后输入具有多个阈值级别（u = [0.5, 0.4, 0.3]）和掩码阈值（τ = [0.4, 0.3]）的级联分类头，以优化预测结果。
• 通过短时傅里叶变换（STFT）和一维卷积融合音频特征，并在最终分类前将音频特征与视觉特征拼接，以提升多模态理解能力。

实验结果

研究问题

• RQ1 如何使深度学习模型在不依赖预定义事件类别的情况下，有效定位通用事件边界？
• RQ2 在未剪辑视频流中，哪些架构组件最有效地捕捉长程时间依赖性和判别性特征？
• RQ3 具有多个阈值级别的级联分类策略是否能改善GEBD中精确率与召回率的平衡？
• RQ4 基于视频帧率的动态帧采样相比固定速率采样，如何提升模型的泛化能力？
• RQ5 在无分类体系设置下，音视频特征融合在多大程度上提升了边界检测性能？

主要发现

• 所提出的CASTANET模型在Kinetics-GEBD测试集上取得了83.30%的F1分数，相比基线方法实现了20.5%的相对提升。
• 消融实验证明，添加CSN主干网络使F1从61.5%提升至71.9%；进一步通过动态采样（75.0%）、时间注意力（77.8%）和级联分类（78.2%）实现性能提升。
• 引入音频特征后F1提升至78.9%，表明多模态学习对边界检测具有显著增益。
• 对九个具有不同超参数的模型进行集成学习，进一步将本地验证集上的F1提升至81.4%。
• 具有多个阈值级别（u = [0.5, 0.4, 0.3]）和掩码阈值（τ = [0.4, 0.3]）的级联分类模块显著提升了召回率，同时保持了高精确率。
• 基于视频帧率的动态采样（每⌈f/8⌉帧采样1帧）通过确保不同帧率视频中的一致输入上下文，提升了模型收敛性与性能。