[论文解读] Deep Action- and Context-Aware Sequence Learning for Activity Recognition and Anticipation

Mohammad Sadegh Ali Akbarian, Fatemehsadat Saleh+4 more|arXiv (Cornell University)|Nov 17, 2016

Human Pose and Action Recognition参考文献 37被引用 13

一句话总结

本文提出了一种多阶段LSTM架构，显式结合上下文感知与动作感知特征，用于基于视频的动作识别与预测。通过利用来自CNN的全局场景上下文和局部动作激活，并引入一种新颖的早期预测损失，该方法仅使用RGB帧就在UCF-101和JHMDB-21数据集上实现了最先进（SOTA）的准确率，优于仅使用单一类型特征或低效融合策略的方法。

ABSTRACT

Action recognition and anticipation are key to the success of many computer vision applications. Existing methods can roughly be grouped into those that extract global, context-aware representations of the entire image or sequence, and those that aim at focusing on the regions where the action occurs. While the former may suffer from the fact that context is not always reliable, the latter completely ignore this source of information, which can nonetheless be helpful in many situations. In this paper, we aim at making the best of both worlds by developing an approach that leverages both context-aware and action-aware features. At the core of our method lies a novel multi-stage recurrent architecture that allows us to effectively combine these two sources of information throughout a video. This architecture first exploits the global, context-aware features, and merges the resulting representation with the localized, action-aware ones. Our experiments on standard datasets evidence the benefits of our approach over methods that use each information type separately. We outperform the state-of-the-art methods that, as us, rely only on RGB frames as input for both action recognition and anticipation.

研究动机与目标

• 为解决现有动作识别方法中忽略上下文或过度依赖上下文的局限性，通过结合上下文感知与动作感知特征来改进性能。
• 通过设计一种新型损失函数以鼓励及时分类，提升动作预测的早期准确率。
• 开发一种高效且有效的深度学习框架，显式融合全局上下文与局部动作表征，无需光流或手工设计特征。
• 证明通过结构化的多阶段架构结合上下文与动作特征，相较于单模态或简单融合方法，可获得更优性能。

提出的方法

• 该方法从预训练CNN的最后层提取上下文感知特征，应用于整个视频帧，以捕捉全局场景信息。
• 通过使用独立CNN的类别特定激活生成动作感知特征，突出显示动作可能发生的位置区域。
• 采用一种新颖的多阶段LSTM架构，首先处理上下文感知特征，随后将动作感知特征与之融合，生成最终预测结果。
• 模型采用自定义损失函数，对早期时间步的错误预测施加惩罚，以鼓励网络在序列处理过程中尽可能早地做出准确决策。
• 在动作预测任务中，通过时间维度上的平均池化操作对Softmax概率进行聚合，以提升对噪声或早期预测的鲁棒性。
• 该框架在仅使用RGB帧的UCF-101和JHMDB-21数据集上进行评估，并对帧采样策略与融合策略进行了消融实验。

实验结果

研究问题

• RQ1 通过结构化的深度学习架构结合上下文感知与动作感知特征，能否提升动作识别与预测的性能？
• RQ2 一种先处理上下文再融合动作特异性特征的多阶段LSTM，是否优于并行处理或单阶段顺序处理的模型？
• RQ3 一种鼓励早期预测的新型损失函数，在与标准交叉熵损失对比时，能在多大程度上提升动作预测的准确率？
• RQ4 与仅使用RGB帧的最先进方法相比，所提方法在识别准确率与预测速度方面表现如何？

主要发现

• 所提方法在UCF-101（83.4%）和JHMDB-21上实现了最先进水平的动作识别准确率，优于仅使用RGB帧的方法。
• 上下文与动作感知特征的多阶段融合显著优于仅使用单一类型特征或简单拼接融合的模型。
• 在仅使用视频前50帧的情况下，模型在UCF-101上达到83.4%的准确率，当仅使用30帧时性能下降微小（81.9%）。
• 所提出的早期预测损失显著提升了动作预测性能，时间维度上的平均池化进一步增强了鲁棒性与准确率。
• 当引入光流信息时，模型在UCF-101上达到88.7%的准确率，优于大多数使用光流的基线模型，仅略逊于双流融合模型。
• 实验表明，当K≥30时，帧采样策略的影响微乎其微，表明当具备足够上下文时，模型对输入帧选择具有较强鲁棒性。