[论文解读] MoDeep: A Deep Learning Framework Using Motion Features for Human Pose Estimation

Arjun Jain, Jonathan Tompson+2 more|arXiv (Cornell University)|Sep 28, 2014

Human Pose and Action Recognition参考文献 55被引用 29

一句话总结

本文提出 MoDeep，一种深度学习框架，通过在多分辨率卷积神经网络中联合利用RGB和运动特征，提升视频中人体姿态估计的性能。通过引入包含运动特征的 FLIC-motion 数据集，并证明仅使用运动特征的输入即优于依赖手工设计特征的最先进方法，作者表明运动线索可显著提升姿态估计精度，且模型架构复杂度极低。

ABSTRACT

In this work, we propose a novel and efficient method for articulated human pose estimation in videos using a convolutional network architecture, which incorporates both color and motion features. We propose a new human body pose dataset, FLIC-motion, that extends the FLIC dataset with additional motion features. We apply our architecture to this dataset and report significantly better performance than current state-of-the-art pose detection systems.

研究动机与目标

• 解决在非约束视频序列中人体关节姿态估计的挑战，其中高维输入和姿态可变性导致性能受限。
• 克服传统方法严重依赖手工设计外观特征（如 HoG）且忽略运动线索的局限性。
• 证明运动特征——尤其是运动光流幅值——可作为强大且具有判别性的输入，显著提升仅使用 RGB 的姿态估计性能。
• 开发一种高效、实时推理的系统，适用于视频分析应用的实际部署。
• 引入一个新的基准数据集 FLIC-motion，该数据集在 FLIC 数据集基础上扩展了从好莱坞电影片段中提取的运动特征。

提出的方法

• 采用多分辨率卷积神经网络（CNN）架构，同时处理 RGB 图像和光流特征作为输入，联合学习空间与时间表征。
• 利用 Lucas-Kanade 光流算法在连续视频帧之间提取运动特征，计算二维光流向量及其 L2 幅值，作为网络输入。
• 应用基于 Lucas-Kanade 运动（LMN）的相机运动补偿技术，以减少背景运动伪影对姿态估计的干扰。
• 使用多尺度损失函数进行网络训练，以预测关键点位置，并基于 FLIC-motion 数据集中真实 2D 关节点标注进行监督。
• 采用“单次”推理策略，一次性处理两帧连续图像，实现无需滑动窗口评估的实时性能。
• 将运动特征作为额外输入通道集成至 CNN 中，使网络能够端到端学习时空先验，无需依赖手工设计的时间模型。

实验结果

研究问题

• RQ1 仅使用运动特征是否能显著提升非约束视频中基于深度学习的人体姿态估计精度，超越仅使用 RGB 特征的性能？
• RQ2 仅使用运动特征（无 RGB 输入）是否优于依赖手工特征（如 HoG）的最先进方法？
• RQ3 运动表征的选择——完整 2D 光流向量与 L2 幅值——如何影响模型性能与泛化能力？
• RQ4 在姿态估计精度方面，运动特征提取的最佳时间上下文（帧偏移）为何值？
• RQ5 相机运动退化在多大程度上影响性能？运动补偿技术能否有效缓解此问题？

主要发现

• MoDeep 在 FLIC-motion 数据集上显著优于现有最先进方法，实现了对肘部和腕部关键点检测更高的平均精度。
• 仅使用光流幅值作为输入即优于多个依赖手工特征（如 HoG）的 SOTA 方法（如 [6]、[7]、[8]），证明了运动线索的价值。
• 在所有测试的帧偏移下，引入运动特征均能提升性能，当帧分离从 -1 增加到 -10 像素（约 0.42 秒，24fps）时，平均精度仅下降 3.9%。
• 出人意料的是，光流向量的 L2 幅值表现优于或至少不逊于完整 2D 光流向量，可能是因为网络学习到了对运动方向的不变性。
• 通过 LMN 实现的相机运动补偿未获得预期的性能增益，表明 LMN 可能已去除大部分相机运动，或网络能自动忽略视差效应。
• 模型实现了接近实时的推理速度，适用于视频分析系统中的实际部署。