[论文解读] Learning Discriminative Motion Features Through Detection

Gedas Bertasius, Christoph Feichtenhofer+3 more|arXiv (Cornell University)|Dec 11, 2018

Human Pose and Action Recognition参考文献 49被引用 18

一句话总结

本文提出DiMoFs——一种通过训练Faster R-CNN检测器在单帧中预测人体姿态，利用时间上分离的帧特征来学习判别性运动特征的方法。通过利用时空可变形卷积，模型学习到运动偏移量，从而提升姿态估计、关键点跟踪以及动作识别等下游任务的性能。当与3D主干网络结合时，即使采用小规模预训练，该方法在动作识别任务中也达到了最先进性能。

ABSTRACT

Despite huge success in the image domain, modern detection models such as Faster R-CNN have not been used nearly as much for video analysis. This is arguably due to the fact that detection models are designed to operate on single frames and as a result do not have a mechanism for learning motion representations directly from video. We propose a learning procedure that allows detection models such as Faster R-CNN to learn motion features directly from the RGB video data while being optimized with respect to a pose estimation task. Given a pair of video frames---Frame A and Frame B---we force our model to predict human pose in Frame A using the features from Frame B. We do so by leveraging deformable convolutions across space and time. Our network learns to spatially sample features from Frame B in order to maximize pose detection accuracy in Frame A. This naturally encourages our network to learn motion offsets encoding the spatial correspondences between the two frames. We refer to these motion offsets as DiMoFs (Discriminative Motion Features). In our experiments we show that our training scheme helps learn effective motion cues, which can be used to estimate and localize salient human motion. Furthermore, we demonstrate that as a byproduct, our model also learns features that lead to improved pose detection in still-images, and better keypoint tracking. Finally, we show how to leverage our learned model for the tasks of spatiotemporal action localization and fine-grained action recognition.

研究动机与目标

• 解决现代检测模型（如Faster R-CNN）缺乏运动建模的问题，这些模型专为单帧分析设计，无法从视频中固有地学习运动线索。
• 使检测模型能够直接从RGB视频数据中学习有效的运动表征，而无需依赖光流或双流架构。
• 通过一种新颖的训练目标，学习运动感知特征，以提升姿态估计、关键点跟踪和下游视频理解任务的性能。
• 证明通过该方法学习到的运动特征具有判别性，并可在多种视频理解任务中实现良好泛化。

提出的方法

• 训练Faster R-CNN检测器，利用时间上相距较远的帧B提取的特征，在帧A中预测人体姿态，从而迫使网络学习运动对应关系。
• 利用在空间和时间维度上同时操作的可变形卷积，实现从帧B动态采样特征，以提升帧A中的姿态检测性能。
• 使用姿态估计损失端到端优化模型，使网络学习到最大化跨帧检测准确率的运动偏移量（DiMoFs）。
• 将所得的运动偏移量作为判别性运动特征，用于下游任务，如显著运动定位、动作识别和时空检测。
• 在PoseTrack数据集上进行姿态估计的预训练，随后与R(2+1)D等3D主干网络进行微调或结合，用于动作识别。

实验结果

研究问题

• RQ1 检测模型（如Faster R-CNN）能否在不使用光流的情况下，直接从RGB视频中学习运动表征？
• RQ2 通过使用前一帧的特征来训练检测器预测当前帧的姿态，是否能促使网络发现有意义的运动线索？
• RQ3 所学习到的运动特征（DiMoFs）能否提升关键点跟踪和动作识别等下游任务的性能？
• RQ4 在性能和效率方面，DiMoFs与显式光流特征相比表现如何？
• RQ5 DiMoFs能否与3D卷积神经网络有效结合，实现在动作识别任务中的最先进性能？

主要发现

• 该方法在Diving48数据集上实现了24.1%的细粒度动作识别准确率，优于TSN和TRN等2D方法。
• 用光流替换DiMoFs导致准确率下降2.6%（18.8% vs. 21.4%），证明了所学习运动特征优于显式光流。
• 即使仅使用姿态聚类ID直方图作为特征，模型准确率已达17.2%，加入DiMoFs后提升至21.4%。
• 即使未在Kinetics等大规模数据集上进行预训练，该模型在Diving48上的表现仍比R(2+1)D基线高出2.7%，表明其在小规模预训练下具备强大的泛化能力。
• 将DiMoFs与预训练的R(2+1)D主干网络结合后，准确率达到31.4%，表明3D CNN与DiMoFs之间存在互补的特征学习机制。