[论文解读] Action Recognition with Coarse-to-Fine Deep Feature Integration and Asynchronous Fusion

Weiyao Lin, Yang Mi+3 more|arXiv (Cornell University)|Nov 20, 2017

Human Pose and Action Recognition参考文献 31被引用 4

一句话总结

该论文提出了一种新颖的动作识别框架，通过粗到细的深度特征融合与异步融合来提升准确率。通过在多个动作类别粒度上学习特征，并在不同时间点融合流式特征，该方法在UCF101（95.2%）和HMDB51（72.6%）上实现了最先进性能，采用IDT特征的后期融合。

ABSTRACT

Action recognition is an important yet challenging task in computer vision. In this paper, we propose a novel deep-based framework for action recognition, which improves the recognition accuracy by: 1) deriving more precise features for representing actions, and 2) reducing the asynchrony between different information streams. We first introduce a coarse-to-fine network which extracts shared deep features at different action class granularities and progressively integrates them to obtain a more accurate feature representation for input actions. We further introduce an asynchronous fusion network. It fuses information from different streams by asynchronously integrating stream-wise features at different time points, hence better leveraging the complementary information in different streams. Experimental results on action recognition benchmarks demonstrate that our approach achieves the state-of-the-art performance.

研究动机与目标

• 通过多粒度动作类别表征学习更精确的特征，以提升动作识别准确率。
• 减少多流网络中信息流之间的异步性，以更好地利用互补的视觉与运动线索。
• 设计一个统一框架，将粗到细的特征学习与异步流融合相结合，以增强判别能力。
• 在不依赖非常深层网络或额外流的情况下，实现在标准基准上的最先进性能。

提出的方法

• 引入一种粗到细网络，从逐步细化的动作类别粒度中提取深度特征，并以分层方式集成，以优化特征表示。
• 使用动态、输入相关的动作类别分组来定义粒度，从而更好地区分具有类内差异的模糊动作。
• 提出一种异步融合网络，允许在非同步时间点融合来自不同流的特征，以捕捉时间上错位的模式。
• 采用可学习的时间偏移机制，对齐外观流与运动流在不同时间点的特征，以最大化互补信号的利用。
• 将粗到细的特征学习与异步融合整合为一个端到端可训练的框架，实现联合优化。
• 使用VGG-16作为主干网络，并应用与手工提取的IDT特征的后期融合，以进一步提升性能。

实验结果

研究问题

• RQ1 在多个动作类别粒度上学习特征是否能提升动作识别中的判别能力，特别是在细微差异的模糊动作上？
• RQ2 外观流与运动流之间的时间异步性如何影响识别性能，是否可以被有效建模？
• RQ3 异步融合多流特征是否能优于同步或早期融合策略，带来更好的性能？
• RQ4 将粗到细的特征学习与异步融合相结合，是否能在不依赖更深网络或额外流的情况下实现最先进结果？

主要发现

• 所提出的CO2FI+ASYN框架在UCF101上达到94.3%的top-1准确率，在HMDB51上达到69.0%，优于大多数现有方法。
• 与IDT特征融合后，该方法在UCF101上达到95.2%，在HMDB51上达到72.6%，超越其他采用IDT增强的最先进方法。
• 异步融合中时间偏移Δ=5时性能提升最大，证实了建模非同步流模式的重要性。
• 消融实验证明，将粗到细特征集成与异步融合结合，相比单独使用任一组件均能带来进一步提升。
• 该方法仅使用VGG-16主干网络即取得优异性能，表明其在无需更深架构或额外流的情况下依然有效。
• 图6的可视化结果证实，异步融合通过在不同时间点组合各流的峰值响应，正确识别了真实动作。