[论文解读] Deep Keyframe Detection in Human Action Videos

Xiang Yan, Syed Zulqarnain Gilani+4 more|arXiv (Cornell University)|Apr 26, 2018

Human Pose and Action Recognition参考文献 33被引用 15

一句话总结

本文提出一种用于人体动作视频关键帧检测的深度双流卷积神经网络，采用基于线性判别分析（LDA）的新型自动标签生成方法来训练网络。该模型在检测代表性帧方面表现出高精度，在UCF101数据集上的平均定位误差低于一帧，标志着该领域首个基于深度学习的关键帧检测基准。

ABSTRACT

Detecting representative frames in videos based on human actions is quite challenging because of the combined factors of human pose in action and the background. This paper addresses this problem and formulates the key frame detection as one of finding the video frames that optimally maximally contribute to differentiating the underlying action category from all other categories. To this end, we introduce a deep two-stream ConvNet for key frame detection in videos that learns to directly predict the location of key frames. Our key idea is to automatically generate labeled data for the CNN learning using a supervised linear discriminant method. While the training data is generated taking many different human action videos into account, the trained CNN can predict the importance of frames from a single video. We specify a new ConvNet framework, consisting of a summarizer and discriminator. The summarizer is a two-stream ConvNet aimed at, first, capturing the appearance and motion features of video frames, and then encoding the obtained appearance and motion features for video representation. The discriminator is a fitting function aimed at distinguishing between the key frames and others in the video. We conduct experiments on a challenging human action dataset UCF101 and show that our method can detect key frames with high accuracy.

研究动机与目标

• 解决人体动作视频中关键帧检测缺乏基准数据集和真实标签的问题。
• 开发一种端到端的深度学习框架，自动检测代表性帧，无需依赖人工标注。
• 通过识别能最优区分动作类别的帧，提升视频摘要和动作识别性能。
• 通过引入客观、数据驱动的标签生成方法，克服人工标注关键帧带来的主观性和不一致性。
• 展示将卷积神经网络与线性判别分析结合用于视频帧重要性预测的有效性。

提出的方法

• 采用双流卷积神经网络架构，分别处理RGB帧和光流图，以提取空间与时间特征。
• 将最终卷积层（f_c7）提取的外观特征与运动特征拼接，形成每帧的时空特征向量。
• 对所有视频级别的特征应用线性判别分析（LDA），将其投影到低维判别性空间。
• 通过计算每帧在LDA投影中与类别中心距离的方式，自动生成帧级标签，将距离类别均值越近的帧赋予更高得分。
• 训练判别头网络，利用自动生成的标签区分关键帧与非关键帧。
• 在UCF101数据集上端到端训练模型，输入为RGB与光流图，损失函数同时优化帧数与定位精度。

实验结果

研究问题

• RQ1 当缺乏真实标签时，深度学习模型能否在人体动作视频中实现高精度的关键帧检测？
• RQ2 基于LDA的自动标签生成方法在为关键帧检测提供可靠帧级监督方面效果如何？
• RQ3 双流卷积神经网络通过联合建模外观与运动信息，在多大程度上能识别出能捕捉人体动作本质的代表性帧？
• RQ4 所提方法在标准基准上的关键帧定位与数量准确性方面是否优于现有方法？
• RQ5 模型能否通过每段视频检测到多个关键帧，隐式地将复杂动作分解为子事件？

主要发现

• 所提方法在UCF101数据集上实现了低于一帧的平均关键帧定位误差，表明具有极高的时间精度。
• 检测到的关键帧数量与真实值高度匹配，平均数量误差低，表明帧数估计具有鲁棒性。
• 定性结果表明，模型能准确检测出各类动作中的关键阶段，如抓举、投掷或落地等。
• 模型成功识别出如“投球”、“抓举”、“跳水”和“三级跳”等动作中的三个主要子事件，表明具备隐式的动作分解能力。
• 通过LDA实现的自动标签生成能产生一致且具有判别性的帧级监督信号，使模型在无需人工标注关键帧的情况下仍能有效训练。
• 本工作首次在UCF101数据集上提供了基于深度学习的关键帧检测基准结果，为未来研究建立了新的基线。