[论文解读] Learning Human Optical Flow

Anurag Ranjan, Javier Romero+1 more|arXiv (Cornell University)|Jun 14, 2018

Human Pose and Action Recognition参考文献 30被引用 3

一句话总结

本文提出 HumanFlow，一种基于深度学习的光流方法，专为人体运动设计，使用包含 146,020 个人体运动序列的大型合成数据集进行训练，该数据集提供真实光流。通过在该数据集上微调 SpyNet 并使其端到端可训练，该方法在人体运动上的精度比当前最先进的通用光流方法高出 30%，且在真实场景中泛化良好，同时在标准硬件上以 32 fps 的速度实时运行，模型大小仅为 7.8 MB。

ABSTRACT

The optical flow of humans is well known to be useful for the analysis of human action. Given this, we devise an optical flow algorithm specifically for human motion and show that it is superior to generic flow methods. Designing a method by hand is impractical, so we develop a new training database of image sequences with ground truth optical flow. For this we use a 3D model of the human body and motion capture data to synthesize realistic flow fields. We then train a convolutional neural network to estimate human flow fields from pairs of images. Since many applications in human motion analysis depend on speed, and we anticipate mobile applications, we base our method on SpyNet with several modifications. We demonstrate that our trained network is more accurate than a wide range of top methods on held-out test data and that it generalizes well to real image sequences. When combined with a person detector/tracker, the approach provides a full solution to the problem of 2D human flow estimation. Both the code and the dataset are available for research.

研究动机与目标

• 为解决人体运动缺乏专用光流方法的问题，因为人体运动具有关节活动、自遮挡和外观多变等复杂特性。
• 构建一个大规模、逼真的合成数据集，包含人体运动的真实光流，以克服真实世界中准确捕捉人体光流的困难。
• 训练一个专门用于人体光流的深度神经网络，使其能泛化到真实世界视频序列。
• 开发一种轻量化、实时的模型，适用于移动和嵌入式应用。
• 公开数据、代码和训练好的模型，以推动人体运动理解领域的研究。

提出的方法

• 作者使用 SMPL 身体模型和动作捕捉数据，合成包含 146,020 对图像的数据集，以模拟真实室内环境中多样的人体形态、姿态和运动。
• 通过将人体的 3D 运动渲染为 2D 图像序列，合成生成真实光流，获得像素级精确的运动向量。
• 在 Human Flow 数据集上微调基于 SpyNet 的卷积神经网络，并通过架构改进提升其在人体运动上的性能。
• 将网络扩展为端到端可训练，以增强特征学习和光流估计的准确性。
• 对模型进行效率优化，最终得到一个仅 7.8 MB 的紧凑网络，参数量为 420 万个，在标准硬件上可实现 32 fps 的推理速度。
• 在真实世界评估中，使用 DPM 人体检测器从视频中裁剪出人体区域，并将模型应用于这些裁剪后的序列以估计光流。

实验结果

研究问题

• RQ1 在大规模人体运动合成数据集上训练的深度学习模型，是否能在人体特定运动估计任务上超越通用光流方法？
• RQ2 在人体运动上微调的模型，是否能有效泛化到具有复杂背景和运动的真实世界视频序列？
• RQ3 能否在不牺牲精度的前提下，训练出一个专用于人体运动的紧凑型实时光流网络？
• RQ4 与最先进的通用光流方法相比，人体专用光流模型在人体运动任务上的性能如何？
• RQ5 与预训练主干网络相比，端到端训练在人体运动光流估计精度上的提升程度如何？

主要发现

• HumanFlow 模型在 Human Flow 数据集上的平均端点误差（AEPE）指标上，相比之前最先进方法实现了 30% 的精度提升。
• 该模型在真实世界场景中泛化良好，在处理手部、腿部和头部等精细人体部位时，即使在遮挡情况下也能生成视觉上更优的结果。
• HumanFlow 在单张 GPU 上以 32 帧每秒的速度运行，适用于移动和嵌入式设备的实时应用。
• 该模型极为紧凑，仅需 7.8 MB 内存，参数量为 420 万个，支持高效部署。
• 视觉对比显示，与 SPyNet、LDOF、EpicFlow 和 FlowFields 等方法相比，HumanFlow 在复杂运动区域生成了更连贯、更准确的光流场。
• 使用具有逼真纹理和背景的合成数据集，可实现高质量训练，无需昂贵的真实世界标注。