[论文解读] Low-Latency Human Action Recognition with Weighted Multi-Region Convolutional Neural Network

Yunfeng Wang, Wengang Zhou+3 more|arXiv (Cornell University)|May 8, 2018

Human Pose and Action Recognition参考文献 19被引用 3

一句话总结

本文提出一种低延迟人体动作识别系统 WMR ConvNet，该系统采用带有加权多区域特征提取的2D ConvNet，从前景（主要）和背景（次要）区域捕获时空上下文信息，无需帧累积。该方法在UCF101和HMDB51数据集上实现了低延迟方法中的最先进准确率，即使不依赖视频片段聚合或LSTM，也优于基于3D ConvNet的C3D模型。

ABSTRACT

Spatio-temporal contexts are crucial in understanding human actions in videos. Recent state-of-the-art Convolutional Neural Network (ConvNet) based action recognition systems frequently involve 3D spatio-temporal ConvNet filters, chunking videos into fixed length clips and Long Short Term Memory (LSTM) networks. Such architectures are designed to take advantage of both short term and long term temporal contexts, but also requires the accumulation of a predefined number of video frames (e.g., to construct video clips for 3D ConvNet filters, to generate enough inputs for LSTMs). For applications that require low-latency online predictions of fast-changing action scenes, a new action recognition system is proposed in this paper. Termed "Weighted Multi-Region Convolutional Neural Network" (WMR ConvNet), the proposed system is LSTM-free, and is based on 2D ConvNet that does not require the accumulation of video frames for 3D ConvNet filtering. Unlike early 2D ConvNets that are based purely on RGB frames and optical flow frames, the WMR ConvNet is designed to simultaneously capture multiple spatial and short term temporal cues (e.g., human poses, occurrences of objects in the background) with both the primary region (foreground) and secondary regions (mostly background). On both the UCF101 and HMDB51 datasets, the proposed WMR ConvNet achieves the state-of-the-art performance among competing low-latency algorithms. Furthermore, WMR ConvNet even outperforms the 3D ConvNet based C3D algorithm that requires video frame accumulation. In an ablation study with the optical flow ConvNet stream removed, the ablated WMR ConvNet nevertheless outperforms competing algorithms.

研究动机与目标

• 解决现有动作识别系统中因需对视频帧进行累积以处理3D ConvNet或LSTM而导致的高延迟问题。
• 通过利用视频帧中前景和背景区域的时空上下文信息，提升低延迟在线动作识别性能。
• 开发一种轻量化、无需LSTM的架构，在实现实时推理的同时保持高准确率。
• 证明在低延迟设置下，采用加权融合的多区域空间采样可优于标准双流或单区域方法。

提出的方法

• 使用微调后的Faster R-CNN检测并定位每一帧中的主要区域（前景）。
• 应用选择性搜索提取多个次要区域（背景），其与主要区域的IoU值各不相同。
• 通过ROI池化从主要和次要区域中提取特征，使用2D ConvNet处理RGB和光流输入。
• 通过加权求和操作融合RGB和光流流的特征，以结合空间信息与短期时间线索。
• 在空间流中顺序处理帧，在时间流中以10帧窗口处理，实现在30 fps下最大处理延迟约为0.3秒。
• 采用晚期融合策略，通过加权平均组合来自多个区域的分类得分，使用Softmax层输出的分数。

实验结果

研究问题

• RQ1 基于2D ConvNet的系统是否能在不依赖视频帧累积或3D时空卷积的情况下实现高动作识别准确率？
• RQ2 在低延迟设置下，引入多个空间区域（尤其是背景区域）是否能提升识别性能？
• RQ3 与SVM融合或特征拼接等替代方法相比，主要和次要区域特征的加权融合效果如何？
• RQ4 完全不使用光流或LSTM组件的系统是否仍能超越依赖这些组件的最先进模型？

主要发现

• WMR ConvNet在UCF101上达到85.7%的准确率，在HMDB51上达到66.7%，优于所有对比的低延迟2D ConvNet方法，并在UCF101上与iDT和C3D持平或超越。
• 即使不使用光流流，消融实验中的WMR ConvNet在UCF101上仍达到78.8%的准确率，超过动态图像网络及其他仅使用RGB的方法。
• 在UCF101分割1上，基于分数级特征的加权求和融合方法准确率达到75.9%，优于基于SVM的融合和特征级拼接方法。
• 使用RGB帧中的边界框作为主要区域，效果优于基于光流幅值选择的区域，表明RGB线索更具信息量。
• 该方法的最大处理延迟仅为0.3秒，显著低于基于片段的3D ConvNet或LSTM系统，后者可能产生数秒至数十秒的延迟。