[论文解读] Let's Dance: Learning From Online Dance Videos

Daniel C. Castro, Steven Hickson+5 more|arXiv (Cornell University)|Jan 23, 2018

Human Pose and Action Recognition参考文献 27被引用 14

一句话总结

本文引入了‘Let's Dance’数据集——包含1,000段在线舞蹈视频，覆盖10个动作密集型类别，用于研究视频分类中的运动表征。该研究评估了最先进方法在视频、光流和多人姿态数据上的表现，结果表明，3D卷积神经网络和时序三流卷积网络通过显式建模运动，取得了最高的准确率（71.60%），显著优于基于帧和两流基线方法。

ABSTRACT

In recent years, deep neural network approaches have naturally extended to the video domain, in their simplest case by aggregating per-frame classifications as a baseline for action recognition. A majority of the work in this area extends from the imaging domain, leading to visual-feature heavy approaches on temporal data. To address this issue we introduce "Let's Dance", a 1000 video dataset (and growing) comprised of 10 visually overlapping dance categories that require motion for their classification. We stress the important of human motion as a key distinguisher in our work given that, as we show in this work, visual information is not sufficient to classify motion-heavy categories. We compare our datasets' performance using imaging techniques with UCF-101 and demonstrate this inherent difficulty. We present a comparison of numerous state-of-the-art techniques on our dataset using three different representations (video, optical flow and multi-person pose data) in order to analyze these approaches. We discuss the motion parameterization of each of them and their value in learning to categorize online dance videos. Lastly, we release this dataset (and its three representations) for the research community to use.

研究动机与目标

• 为解决缺乏大规模、高度动态的视频数据集的问题，这些数据集在分类时依赖运动信息，尤其是在动作识别任务中。
• 评估传统视频分类方法是否能正确编码运动信息，尤其是在视觉特征本身不足以分类时。
• 比较不同运动表征方式（视频、光流、多人姿态数据）在分类动作密集型动作时的有效性。
• 提供一个基准数据集及三种数据表示形式（视频、光流、姿态），以支持深度学习中运动参数化方法的系统性研究。
• 证明运动感知模型（如3D CNN和时序三流网络）在依赖运动的任务中显著优于基于帧和两流方法。

提出的方法

• 构建了一个包含1,000段在线舞蹈视频的数据集，覆盖10个视觉上重叠但运动特征不同的类别，以突出运动作为关键分类依据。
• 评估了多种深度学习架构：3D卷积网络、两流晚期融合（空间 + 光流）以及用于三种模态（RGB、光流、姿态）的堆叠2D卷积网络。
• 使用光流和多人姿态估计作为运动表征，以增强标准视频输入，从而分析神经网络中运动编码的机制。
• 实现了一种堆叠2D卷积网络，以降低计算成本，同时结合多个运动流，在复杂度低于3D CNN的前提下实现了高性能。
• 使用标准评估指标，在10秒视频片段上比较了不同输入模态和网络架构的性能。
• 应用数据增强和预处理技术，包括模糊化非运动区域，以增强运动相关性并提升模型泛化能力。

实验结果

研究问题

• RQ1 当视觉外观不足以分类时，依赖单帧或两流特征的传统视频分类方法能否准确识别动作密集型动作？
• RQ2 不同的运动表征方式（光流和多人姿态）在视频分类模型性能中分别起到何种作用？
• RQ3 3D卷积网络和时序三流架构在高度动态的视频任务中，相较于逐帧和两流基线方法，优势有多大？
• RQ4 在对运动敏感的视频分类任务中，高精度3D CNN与更高效的堆叠2D多流模型之间存在怎样的计算权衡？
• RQ5 如何在深度学习模型中主动增强运动参数化，以超越静态外观理解，提升通用视频理解能力？

主要发现

• 3D卷积网络在‘Let’s Dance’数据集上取得了71.60%的最高准确率，表明显式的时间建模显著提升了在依赖运动任务上的性能。
• 时序三流CNN（在堆叠2D架构中融合RGB、光流和姿态数据）达到了69.20%的准确率，表明多模态运动输入可提升分类性能，而无需使用3D卷积。
• 仅使用光流的逐帧方法达到了57.14%的准确率，表明仅靠运动信息（缺乏空间上下文）仍能提供有意义的信号，但效果低于完整的多模态模型。
• 两流晚期融合网络（空间 + 光流）优于单帧基线，但被3D和三流时序模型超越，证实了时间建模的价值。
• 尽管计算成本更高，3D卷积网络在捕捉长时序运动动态方面仍优于堆叠2D模型，尽管后者在效率方面提供了良好权衡。
• 本研究证实，标准CNN通常无法有意地编码运动信息，而像‘Let’s Dance’这样的数据集对于评估运动感知的视频理解至关重要。