[论文解读] Learning Human Activities and Object Affordances from RGB-D Videos

Hema Swetha Koppula, Rudhir Gupta+1 more|arXiv (Cornell University)|Oct 4, 2012

Human Pose and Action Recognition参考文献 68被引用 5

一句话总结

本文提出了一种联合学习框架，结合马尔可夫随机场（MRF）与结构化支持向量机（SSVM），从RGB-D视频中推断人类子活动与物体功能。通过将时间片段化视为隐变量，该方法在新的120段视频数据集上实现了79.4%的功能预测准确率、63.4%的子活动识别准确率以及75.0%的高层活动识别准确率，使PR2机器人能够基于推断出的功能执行辅助任务。

ABSTRACT

Understanding human activities and object affordances are two very important skills, especially for personal robots which operate in human environments. In this work, we consider the problem of extracting a descriptive labeling of the sequence of sub-activities being performed by a human, and more importantly, of their interactions with the objects in the form of associated affordances. Given a RGB-D video, we jointly model the human activities and object affordances as a Markov random field where the nodes represent objects and sub-activities, and the edges represent the relationships between object affordances, their relations with sub-activities, and their evolution over time. We formulate the learning problem using a structural support vector machine (SSVM) approach, where labelings over various alternate temporal segmentations are considered as latent variables. We tested our method on a challenging dataset comprising 120 activity videos collected from 4 subjects, and obtained an accuracy of 79.4% for affordance, 63.4% for sub-activity and 75.0% for high-level activity labeling. We then demonstrate the use of such descriptive labeling in performing assistive tasks by a PR2 robot.

研究动机与目标

• 使个人机器人能够理解日常环境中复杂且持续时间较长的人类活动。
• 从RGB-D视频序列中联合识别子活动与物体功能（例如可倒出、可移动）。
• 通过将多种时间片段化视为学习中的隐变量，对时间片段化不确定性进行建模。
• 通过推断观察到的人类行为中的物体使用方式，提升机器人辅助能力。
• 展示所学功能在未见高层活动及真实世界操作任务中的泛化能力。

提出的方法

• 将人类活动与功能识别建模为马尔可夫随机场（MRF），其中子活动与物体作为节点，交互与时间演化作为边。
• 使用结构化支持向量机（SSVM）学习模型参数，将多个时间片段化上的标注视为隐变量。
• 利用RGB-D数据可靠估计人体姿态与物体几何，从而实现对子活动与功能的稳定检测。
• 在MRF结构中整合物体-物体交互、物体-子活动关系以及时间动态，以建模上下文依赖性。
• 采用基于采样的近似推理方法，以应对多重片段化带来的计算复杂性。
• 在包含120段视频的新数据集（CAD-120）上验证模型，该数据集来自四位受试者，并展示了基于推断功能的机器人任务执行效果。

实验结果

研究问题

• RQ1 联合建模子活动与物体功能是否能提升在长时间人类活动中的识别准确率？
• RQ2 在RGB-D视频理解中，如何有效建模时间片段化的不确定性？
• RQ3 推断出的物体功能是否能提升辅助任务中机器人操作的语义意义？
• RQ4 该模型是否能泛化到训练期间未见过的高层活动？
• RQ5 多观测推理如何提升如倒液体等复杂动作的功能检测性能？

主要发现

• 该方法在CAD-120数据集上对未见受试者的物体功能预测准确率达到79.4%。
• 在相同测试集上，子活动识别准确率达到63.4%，表明对个体差异具有鲁棒性。
• 高层活动标注准确率达到75.0%，表明对复杂多步活动具有有效的识别能力。
• 当使用推断出的可移动功能时，PR2机器人在物体移动任务中实现了100%的准确率。
• 在受限运动任务（如不倾倒液体）中，当使用多组观测推断功能时，准确率从80%提升至100%。
• 该模型泛化能力良好：成功识别出未在训练中出现的两个高层活动的功能，并实现了相应操作。