[论文解读] Hallucinating IDT Descriptors and I3D Optical Flow Features for Action Recognition with CNNs

Lei Wang, Piotr Koniusz+1 more|arXiv (Cornell University)|Jun 13, 2019

Human Pose and Action Recognition参考文献 56被引用 12

一句话总结

本文提出了一种端到端可训练的CNN框架，能够从RGB I3D特征图中‘幻觉’生成改进的密集轨迹（IDT）词袋（BoW）和Fisher向量（FV）特征，以及I3D光流特征，从而消除了昂贵的离线预处理步骤。该方法在四个数据集上实现了最先进（SOTA）的动作识别性能，同时将计算量减少了20–55小时。

ABSTRACT

In this paper, we revive the use of old-fashioned handcrafted video representations for action recognition and put new life into these techniques via a CNN-based hallucination step. Despite of the use of RGB and optical flow frames, the I3D model (amongst others) thrives on combining its output with the Improved Dense Trajectory (IDT) and extracted with its low-level video descriptors encoded via Bag-of-Words (BoW) and Fisher Vectors (FV). Such a fusion of CNNs and handcrafted representations is time-consuming due to pre-processing, descriptor extraction, encoding and tuning parameters. Thus, we propose an end-to-end trainable network with streams which learn the IDT-based BoW/FV representations at the training stage and are simple to integrate with the I3D model. Specifically, each stream takes I3D feature maps ahead of the last 1D conv. layer and learns to `translate' these maps to BoW/FV representations. Thus, our model can hallucinate and use such synthesized BoW/FV representations at the testing stage. We show that even features of the entire I3D optical flow stream can be hallucinated thus simplifying the pipeline. Our model saves 20-55h of computations and yields state-of-the-art results on four publicly available datasets.

研究动机与目标

• 消除动作识别中手工设计视频表征流水线对昂贵离线预处理步骤的依赖。
• 实现端到端训练的CNN分支，学习从I3D特征图生成基于IDT的BoW和FV描述符。
• 证明即使I3D光流分支也可从RGB分支‘幻觉’生成，从而简化模型流程。
• 通过合成的全局描述符在保持或提升识别准确率的同时降低计算成本。

提出的方法

• 在I3D特征图上（在最终1D卷积之前）训练专用的CNN分支，学习生成BoW和FV表征。
• 在训练过程中使用均方误差（MSE）损失，通过真实IDT特征监督BoW和FV描述符的‘幻觉’生成。
• 应用幂归一化（PN）以缓解BoW和FV特征中的突发性，提升泛化能力。
• 使用Count Sketch投影降低维度，防止多分支融合时过拟合。
• 在最终分类前，将‘幻觉’生成的BoW、FV和高级抽象特征（HAF）与原始I3D特征进行拼接。
• 在推理阶段关闭MSE损失，使模型在无真实标签监督的情况下也能在测试中‘幻觉’生成描述符。

实验结果

研究问题

• RQ1 CNN能否有效学习从I3D特征图中‘幻觉’生成手工设计的基于IDT的BoW和FV描述符？
• RQ2 通过端到端学习，I3D光流分支在多大程度上可从RGB分支重建？
• RQ3 通过‘幻觉’生成全局描述符是否能在不牺牲识别准确率的前提下降低计算成本？
• RQ4 如幂归一化和Count Sketch等技术如何影响‘幻觉’生成特征的鲁棒性与性能？

主要发现

• 与标准的离线提取IDT特征的流水线相比，所提方法将计算量减少了20–55小时。
• 在HMDB-51数据集上，模型在512px人像中心预处理下达到78.5%的准确率，较256px基线提升1.3个百分点。
• 通过多组Sketch和幂归一化，模型在MPII数据集上达到81.7%的mAP，较基线提升3.9个百分点。
• ‘幻觉’生成的BoW和FV描述符与真实特征高度接近，训练与测试误差分布的偏差极小。
• 该模型在四个公开数据集（包括HMDB-51、UCF-101、Kinetics-400和MPII）上均达到最先进性能。