[论文解读] Action Recognition by Hierarchical Mid-level Action Elements

Tian Lan, Yuke Zhu+2 more|arXiv (Cornell University)|Aug 31, 2015

Human Pose and Action Recognition参考文献 39被引用 14

一句话总结

本文提出了一种弱监督的、分层的中层动作单元（MAE）表示方法，用于视频动作识别与解析，能够从未修剪的视频中自动发现具有判别性的时空片段，而无需时间标注。通过联合推理动作标签与MAE标签的结构化模型，捕捉片段之间的空间、时间与分层关系，该方法在动作识别与动作解析基准上实现了最先进性能。

ABSTRACT

Realistic videos of human actions exhibit rich spatiotemporal structures at multiple levels of granularity: an action can always be decomposed into multiple finer-grained elements in both space and time. To capture this intuition, we propose to represent videos by a hierarchy of mid-level action elements (MAEs), where each MAE corresponds to an action-related spatiotemporal segment in the video. We introduce an unsupervised method to generate this representation from videos. Our method is capable of distinguishing action-related segments from background segments and representing actions at multiple spatiotemporal resolutions. Given a set of spatiotemporal segments generated from the training data, we introduce a discriminative clustering algorithm that automatically discovers MAEs at multiple levels of granularity. We develop structured models that capture a rich set of spatial, temporal and hierarchical relations among the segments, where the action label and multiple levels of MAE labels are jointly inferred. The proposed model achieves state-of-the-art performance in multiple action recognition benchmarks. Moreover, we demonstrate the effectiveness of our model in real-world applications such as action recognition in large-scale untrimmed videos and action parsing.

研究动机与目标

• 为解决在视频中识别与解析复杂人类动作的挑战，通过在多个时空粒度上将动作建模为中层动作单元（MAE）的分层集合。
• 实现无需预标注子动作片段或时间边界的端到端MAE发现，克服以往方法对专家指定标签的依赖。
• 通过编码片段之间空间、时间与分层关系的结构化模型，联合推理动作标签与多级MAE标签。
• 在标准基准数据集（包括未修剪视频序列）上，实现动作识别与动作解析的最先进性能。

提出的方法

• 该方法首先通过弱监督的凝聚聚类过程，从视频片段中生成一组时空区域提议，以发现具有判别性的MAE。
• 提出一种判别性聚类算法，自动在多个粒度级别上发现MAE，以区分与动作相关的片段与背景片段。
• 开发结构化模型，通过建模发现片段之间的空间、时间与分层依赖关系，联合推理动作标签与MAE标签。
• 训练过程中仅使用动作级别标签，实现弱监督学习，无需子动作的时间标注。
• 模型采用IDTF（惯性差异张量特征）作为输入表示，并通过具有分层CRF结构的结构化预测进行联合推理。
• 通过将低层级MAE组合为高层级动作模式构建分层结构，基于训练数据中的频率与共现性自动生成标签。

实验结果

研究问题

• RQ1 弱监督方法能否在无需时间标注的情况下，从未修剪视频中自动发现中层动作单元（MAE）？
• RQ2 MAE的分层表示能否在多个时空粒度上提升动作识别与解析性能？
• RQ3 当仅提供动作级别标签时，该模型在定位与解析复杂动作为构成性MAE方面表现如何？
• RQ4 自动发现的MAE（包括非以人类为中心的片段，如冰箱运动）在动作识别中对判别能力的贡献程度如何？

主要发现

• 所提方法在THUMOS 2015动作识别基准上实现最先进性能，在20个动作类别中有10个类别优于先前方法，尤其在Diving与CleanAndJerk等具有高类内差异的复杂动作上表现突出。
• 在MPI Cooking数据集上，该方法在所有重叠阈值下将平均平均精度（mAP）相比滑动窗口基线提升8.6%，在PASCAL VOC阈值（IoU > 0.5）下提升8.5%。
• 模型成功将长时未修剪视频解析为MAE的分层结构，可视化结果表明对人类中心动作与物体相关运动片段（如冰箱开启）的定位准确。
• 仅使用IDTF特征且无任何时间监督，模型仍实现具有竞争力的性能，证明了弱监督MAE发现的有效性。
• 分层结构支持多分辨率推理，其中MAE涵盖从细粒度身体动作到高层级动作组合（如'screw open - spice - screw close'）的多种层次。