[论文解读] Detecting Human-Object Interaction via Fabricated Compositional Learning

Zhi Hou, Baosheng Yu+3 more|arXiv (Cornell University)|Mar 15, 2021

Multimodal Machine Learning Applications参考文献 63被引用 7

一句话总结

本文提出了一种名为FCL（Fabricated Compositional Learning）的新框架，用于开放长尾人类-物体交互（HOI）检测。该框架通过生成合成的物体特征来组合新的、平衡的HOI样本。通过训练一个物体生成器以生成逼真的物体表征，并将其与真实的动词特征结合，FCL在罕见和未见HOI类别上的性能显著提升，在HICO-DET数据集上实现了最先进（SOTA）的结果，尤其在零样本和少样本设置下表现突出。

ABSTRACT

Human-Object Interaction (HOI) detection, inferring the relationships between human and objects from images/videos, is a fundamental task for high-level scene understanding. However, HOI detection usually suffers from the open long-tailed nature of interactions with objects, while human has extremely powerful compositional perception ability to cognize rare or unseen HOI samples. Inspired by this, we devise a novel HOI compositional learning framework, termed as Fabricated Compositional Learning (FCL), to address the problem of open long-tailed HOI detection. Specifically, we introduce an object fabricator to generate effective object representations, and then combine verbs and fabricated objects to compose new HOI samples. With the proposed object fabricator, we are able to generate large-scale HOI samples for rare and unseen categories to alleviate the open long-tailed issues in HOI detection. Extensive experiments on the most popular HOI detection dataset, HICO-DET, demonstrate the effectiveness of the proposed method for imbalanced HOI detection and significantly improve the state-of-the-art performance on rare and unseen HOI categories. Code is available at https://github.com/zhihou7/HOI-CL.

研究动机与目标

• 解决HOI检测中的开放长尾分布问题，即训练数据中罕见和未见交互关系的代表性不足。
• 利用类人般的组合感知能力，从现有动词和物体组件中生成新的HOI样本。
• 通过合成平衡的训练数据，提升少样本和零样本HOI检测的泛化能力。
• 克服现有方法依赖重采样、重加权或知识迁移但缺乏有效数据增强的局限性。
• 开发一种可扩展的端到端框架，利用可学习的物体生成器生成多样化、高质量的HOI样本。

提出的方法

• 设计一个可学习的物体生成器，从噪声和动词表征中生成视觉物体特征，实现对新HOI样本的可控组合。
• 将真实动词特征与生成的物体特征结合，形成用于训练的合成HOI样本。
• 引入辅助动词正则化损失，对齐不同HOI组合中的动词表征，提升泛化能力。
• 采用两阶段训练策略——首先联合优化生成器和分类器，然后通过分步优化进行微调，以提升对罕见和未见类别性能。
• 采用对比学习目标，对齐生成的物体特征与真实物体特征，确保语义一致性。
• 采用两阶段HOI检测流程，包括检测器（如Faster R-CNN）和分类器，其中生成器增强训练数据分布。

实验结果

研究问题

• RQ1 合成物体生成能否提升开放长尾HOI检测中的泛化能力，特别是在罕见和未见交互关系上？
• RQ2 通过生成物体特征组合HOI样本，是否优于传统的重加权或重采样策略？
• RQ3 所提出的物体生成器在生成语义有意义且具有判别性的物体表征方面有多有效，以支持HOI组合？
• RQ4 分步优化与单步优化在不同HOI类别类型（罕见、非罕见、未见）上的性能表现有何差异？
• RQ5 物体检测质量在多大程度上影响生成特征在下游HOI检测中的有效性？

主要发现

• FCL在HICO-DET上的全类别mAP达到24.68，显著优于基线的21.24，尤其在罕见类别检测上提升明显。
• FCL将罕见类别mAP从基线的17.44%提升至20.03%，表明在少样本学习中具有显著优势。
• 在零样本评估中，FCL在未见类别上达到17.64%的mAP，比基线高出2.05个百分点。
• 分步优化在罕见和非罕见类别上的性能优于单步优化，尽管在未见类别上略逊一筹。
• 在HICO-DET数据上微调物体检测器可进一步提升FCL性能，全类别mAP从21.80提升至24.68，凸显检测质量的重要性。
• 生成特征与真实特征之间的余弦相似度在训练过程中下降并趋于稳定，表明生成器实现了有效的对齐与泛化。