[论文解读] Classify, predict, detect, anticipate and synthesize: Hierarchical recurrent latent variable models for human activity modeling.

Judith Bütepage, Hedvig Kjellström+1 more|arXiv (Cornell University)|Sep 24, 2018

Human Pose and Action Recognition参考文献 25被引用 5

一句话总结

本文提出了一种半监督的分层循环潜在变量模型，通过整合连续观测与结构化语义标签，联合建模人体动作语义（分类、预测、检测、预期）和运动轨迹（预测、合成）。该模型捕捉了实体间的依赖关系与分层动作结构，在 Cornell Activity 120、UTKinect-Action3D 和 Stony Brook Kinect Interaction Dataset 等多个数据集上优于任务特定模型。

ABSTRACT

Human activity modeling operates on two levels: high-level action modeling, such as classification, prediction, detection and anticipation, and low-level motion trajectory prediction and synthesis. In this work, we propose a semi-supervised generative latent variable model that addresses both of these levels by modeling continuous observations as well as semantic labels. We extend the model to capture the dependencies between different entities, such as a human and objects, and to represent hierarchical label structure, such as high-level actions and sub-activities. In the experiments we investigate our model's capability to classify, predict, detect and anticipate semantic action and affordance labels and to predict and generate human motion. We train our models on data extracted from depth image streams from the Cornell Activity 120, the UTKinect-Action3D and the Stony Brook University Kinect Interaction Dataset. We observe that our model performs well in all of the tasks and often outperforms task-specific models.

研究动机与目标

• 解决人体动作理解中高层语义动作建模与低层运动轨迹预测的双重挑战。
• 将连续深度观测与结构化语义标签（包括分层动作结构与功能标签）相结合。
• 建模人与物体之间的依赖关系，以提升动作与运动理解。
• 开发一个统一的生成框架，支持多种任务（分类、预测、检测、预期与运动合成），而无需针对特定任务进行调整。
• 实现半监督学习，以利用来自深度图像流的有标签与无标签数据。

提出的方法

• 采用分层循环潜在变量模型，联合建模运动轨迹与语义动作标签的潜在表示。
• 使用变分推理框架，对连续观测（如来自深度流的 3D 人体姿态）与离散语义标签（如动作、子活动）进行建模。
• 通过注意力机制或循环结构建模时间依赖性以及分层标签结构。
• 通过将潜在变量基于物体状态与交互线索进行条件化，建模人与物体之间的实体间关系。
• 使用来自深度序列的弱有标签数据，以半监督方式训练模型，利用有标签动作与无标签运动序列。
• 实现端到端的运动序列生成，条件于语义标签，支持合成与预期任务。

实验结果

研究问题

• RQ1 一个统一的生成模型是否能在单一框架内有效执行多种人体动作建模任务——分类、预测、检测、预期与运动合成？
• RQ2 与平面标签建模相比，该模型在捕捉分层动作结构（如高层动作及其子活动）方面表现如何？
• RQ3 建模人与物体之间的依赖关系在多大程度上提升了语义与运动任务的性能？
• RQ4 与完全监督基线相比，该半监督训练方案是否在标注数据有限的情况下提升了性能？
• RQ5 该模型在 Cornell Activity 120、UTKinect-Action3D 与 Stony Brook Kinect Interaction Dataset 等多样化数据集上的性能，与任务特定模型相比如何？

主要发现

• 所提出的模型在所有评估任务（分类、预测、检测、预期与运动合成）中均表现出色，证明了统一生成框架的有效性。
• 该模型在多个基准上优于任务特定模型，表明其在泛化能力与表征学习方面具有优势。
• 引入分层标签结构有助于更优地建模复杂动作，尤其在子活动识别与预期任务中表现更佳。
• 建模人机交互显著提升了动作预期与检测任务的性能，尤其在复杂交互场景中。
• 半监督训练策略有效利用了无标签数据，在低资源设置下提升了性能，且无需完全监督。
• 该模型成功生成了条件于语义标签的逼真运动序列，验证了其在运动合成方面的能力。