[论文解读] HAKE: Human Activity Knowledge Engine

Yong–Lu Li, Liang Xu+8 more|arXiv (Cornell University)|Apr 13, 2019

Human Pose and Action Recognition参考文献 24被引用 39

一句话总结

HAKE 构建了一个大规模的部位状态注释知识库，将人体部位状态与实例活动关联起来，支持两阶段的分层范式，从而提升活动识别，尤其是在少样本设置下。

ABSTRACT

Human activity understanding is crucial for building automatic intelligent system. With the help of deep learning, activity understanding has made huge progress recently. But some challenges such as imbalanced data distribution, action ambiguity, complex visual patterns still remain. To address these and promote the activity understanding, we build a large-scale Human Activity Knowledge Engine (HAKE) based on the human body part states. Upon existing activity datasets, we annotate the part states of all the active persons in all images, thus establish the relationship between instance activity and body part states. Furthermore, we propose a HAKE based part state recognition model with a knowledge extractor named Activity2Vec and a corresponding part state based reasoning network. With HAKE, our method can alleviate the learning difficulty brought by the long-tail data distribution, and bring in interpretability. Now our HAKE has more than 7 M+ part state annotations and is still under construction. We first validate our approach on a part of HAKE in this preliminary paper, where we show 7.2 mAP performance improvement on Human-Object Interaction recognition, and 12.38 mAP improvement on the one-shot subsets.

研究动机与目标

• 将实例活动与身体部位状态连接起来，以提升活动理解。
• 通过将动作分解为部位状态来缓解长尾数据分布。
• 通过 Activity2Vec 提供可解释的、语言丰富的表征。
• 在 HOI 基准上展示改进，尤其是在少样本设置下。
• 通过邀请社区协作来扩大 HAKE 的规模，促进更广泛的采用。

提出的方法

• 通过姿态引导的部位划分，对跨图像的154个实例活动标注部位状态。
• 通过协同人类专家判断并利用 NPMI 分析来定义约92个部位状态候选。
• 开发部位状态分类网络（PSC），利用 ROI 池化特征及部位级交互先验来识别部位状态。
• 通过将可视部位状态概率与基于 BERT 的语言嵌入进行融合，并使用三元损失对齐视觉与语言空间，创建 Activity2Vec。
• 提出部位状态推理网络（PSR），在分层图中从部位状态嵌入推断实例活动。
• 展示一个简化的基于 MNIST 的类比，以说明基于部件的分解的好处。

实验结果

研究问题

• RQ1 将动作分解为身体部位状态是否能够缓解大规模活动识别中的长尾和数据不平衡问题？
• RQ2 分阶段的两阶段范式（部位状态识别后进行活动推理）是否能提升 HOI 与少样本识别性能？
• RQ3 将视觉部位状态信息与语言嵌入（Activity2Vec）结合，是否能产生更易解释且更有效的活动表征？
• RQ4 基于部位状态的推理在跨数据集如 HICO/HICO-DET 与 AVA 的复杂活动中的泛化能力如何？
• RQ5 HAKE 注释是否可以扩展以支持更广泛的任务，如 VQA、动作检索和视频理解？

主要发现

• HAKE 在 HOI 识别基准上取得显著提升，在某些设置下在 HICO 相对于先前方法提升了 7.2 mAP。
• 利用真实部位状态（HAKE-GT）在 HICO 上达到最高 62.5 mAP，体现该方法的强上界潜力。
• 在少样本 HOI 子集上，HAKE 显著提升性能，相较强基线提升约11–12 mAP。
• 部位状态推理与 Activity2Vec 表征提供了更好的可解释性和竞争性性能，特别在数据稀缺时。
• HAKE 在超过 104k 张图像中对超过 700 万个身体部位状态实例进行了标注，展示了资源的规模及其在多样活动理解任务中的潜力。