[论文解读] Finding Action Tubes

Georgia Gkioxari, Jitendra Malik|CaltechAUTHORS (California Institute of Technology)|Nov 21, 2014

Human Pose and Action Recognition参考文献 40被引用 38

一句话总结

该论文提出了一种新颖的动作检测框架，通过在区域提议上应用空间卷积神经网络（CNN）和运动卷积神经网络（CNN），实现对视频中动作的定位与分类。通过引入运动显著性来过滤区域，并将跨帧的预测链接成连贯的动作管，该方法在性能上达到最先进水平，在0.6 IoU阈值下于UCF Sports数据集上实现了41.2%的平均AUC——相比之前的工作提升了87.3%。

ABSTRACT

We address the problem of action detection in videos. Driven by the latest progress in object detection from 2D images, we build action models using rich feature hierarchies derived from shape and kinematic cues. We incorporate appearance and motion in two ways. First, starting from image region proposals we select those that are motion salient and thus are more likely to contain the action. This leads to a significant reduction in the number of regions being processed and allows for faster computations. Second, we extract spatio-temporal feature representations to build strong classifiers using Convolutional Neural Networks. We link our predictions to produce detections consistent in time, which we call action tubes. We show that our approach outperforms other techniques in the task of action detection.

研究动机与目标

• 解决在未修剪视频中定位和分类动作的挑战，超越视频级别的分类任务。
• 通过深度学习结合外观与运动线索，提升动作检测性能。
• 通过运动显著性过滤非动作区域，降低计算成本。
• 通过将跨帧预测链接为时间一致的动作管，实现时间上一致的检测。
• 在动作检测任务上展示最先进性能，并通过动作管提升视频分类准确率。

提出的方法

• 使用2D图像的区域提议作为动作检测的候选区域，并通过运动显著性进行过滤，仅保留运动显著的区域。
• 训练两个独立的CNN：一个空间-CNN用于提取外观特征（形状、纹理），一个运动-CNN用于提取光流和运动学模式。
• 通过加权平均（1/3空间特征，2/3运动特征）融合空间-CNN与运动-CNN的得分，以提升检测鲁棒性。
• 基于空间重叠和动作得分，将跨帧预测链接为动作管，确保时间一致性。
• 使用每段视频中得分最高的动作管作为整体视频标签，用于动作分类任务。
• 在UCF Sports和J-HMDB数据集上应用该方法，采用标准评估指标，包括平均AUC和交并比（IoU）阈值。

实验结果

研究问题

• RQ1 运动显著性过滤是否能显著减少候选区域数量，并提升动作检测的计算效率？
• RQ2 外观与运动线索在多大程度上相互补充，以提升动作检测的准确性？
• RQ3 将帧级预测链接为时间一致的动作管，是否能提升定位性能？
• RQ4 使用动作管得分进行视频级分类，是否优于整体视频分类基线？
• RQ5 该方法在UCF Sports和J-HMDB等标准基准上的表现，与最先进方法相比如何？

主要发现

• 在0.6 IoU阈值下，该方法在UCF Sports数据集上实现了41.2%的平均AUC，相比之前最先进方法（22.0%）提升了87.3%的相对性能。
• 在J-HMDB数据集上，该方法通过动作管实现62.5%的视频分类准确率，优于Wang等人[39]的先前最先进结果（56.6%）。
• 消融实验证实，外观与运动特征具有互补性，联合使用在所有IoU阈值下均取得最佳性能。
• 使用运动显著性过滤可显著减少处理的区域数量，大幅降低计算时间，且不损失检测准确率。
• 动作管在帧之间实现了连贯、时间一致的检测，UCF Sports和J-HMDB的可视化示例已证实这一点。
• 该方法展现出强大的泛化能力，在相同框架下同时实现了动作检测和视频分类任务的最先进性能。