[论文解读] Detecting Human-Object Interactions with Action Co-occurrence Priors

Dong-Jin Kim, Xiao Sun+3 more|arXiv (Cornell University)|Jul 17, 2020

Multimodal Machine Learning Applications参考文献 64被引用 14

一句话总结

本文提出动作共现先验（ACPs），通过利用HOI类别之间的自然相关性与反相关性，在长尾数据集上提升人-物体交互（HOI）检测性能。提出分层深度学习架构与基于知识蒸馏的标签扩展方法以增强训练，在HICO-Det与V-COCO数据集上实现SOTA性能，对罕见HOI类别（0–9个训练样本）实现38.24%的mAP提升。

ABSTRACT

A common problem in human-object interaction (HOI) detection task is that numerous HOI classes have only a small number of labeled examples, resulting in training sets with a long-tailed distribution. The lack of positive labels can lead to low classification accuracy for these classes. Towards addressing this issue, we observe that there exist natural correlations and anti-correlations among human-object interactions. In this paper, we model the correlations as action co-occurrence matrices and present techniques to learn these priors and leverage them for more effective training, especially in rare classes. The utility of our approach is demonstrated experimentally, where the performance of our approach exceeds the state-of-the-art methods on both of the two leading HOI detection benchmark datasets, HICO-Det and V-COCO.

研究动机与目标

• 解决HOI检测中的长尾分布问题，即许多交互类别仅有极少的标注训练样本。
• 利用人-物体交互之间的自然相关性与反相关性，提升对罕见HOI类别的检测性能。
• 开发一种方法，利用目标数据集的共现统计信息作为先验，避免依赖外部语言资源。
• 通过网络架构设计与损失正则化，提升模型在低资源HOI类别上的泛化能力与鲁棒性。

提出的方法

• 从训练标签统计中构建动作共现矩阵，以建模HOI类别之间的自然相关性与反相关性。
• 设计一种分层神经网络，首先在动作组级别进行分类，其中动作组基于共现先验定义的互斥锚定动作进行划分。
• 实现一种基于知识蒸馏的标签扩展技术，通过共现且更频繁的HOI预测，为罕见HOI生成额外的正样本标签。
• 应用投影函数，利用共现矩阵优化模型预测，提升真实类别的置信度，同时抑制假阳性，无需额外优化。
• 使用从共现矩阵推导出的优化目标对训练损失进行正则化，以增强对尾部类别交互的鲁棒性。
• 在神经网络架构（分组）与损失函数（正则化）中同时使用共现先验，实现正交性改进。

实验结果

研究问题

• RQ1 人-物体交互之间的自然共现模式能否被有效建模为先验，以提升对罕见HOI类别的检测？
• RQ2 如何将动作共现先验整合到深度学习架构中，以提升在长尾HOI数据集上的性能？
• RQ3 基于共现先验的知识蒸馏是否能带来更好的泛化能力，特别是在零样本与少样本设置下？
• RQ4 共现先验在训练样本少于10个的罕见HOI类别上，能带来多大程度的性能提升？

主要发现

• 所提方法在零样本HICO-Det基准上达到35.0 mAP，相比之前SOTA（28.6 mAP）实现22.4%的相对提升。
• 在零样本设置下，ACP模型优于同模型的监督基线，表明先验知识具有强大的迁移能力。
• 对于0–9个训练样本的HOI类别，该方法相比基线实现38.24%的相对mAP提升，表明在罕见类别上取得显著增益。
• 基于共现矩阵的投影函数可提升真实HOI类别的置信度，同时降低假阳性的分数，且无需额外优化。
• 性能提升在所有样本量分组中均保持一致，其中最低资源类别获得最大增益。
• 该方法在HICO-Det与V-COCO两个数据集上均超越SOTA模型，展现出跨基准的泛化能力。