[论文解读] Affordance Transfer Learning for Human-Object Interaction Detection

Zhi Hou, Baosheng Yu+3 more|arXiv (Cornell University)|Apr 7, 2021

Robot Manipulation and Learning参考文献 42被引用 7

一句话总结

本文提出了一种**可及性迁移学习**（ATL）方法，将人-物体交互（HOI）表征分解为可及性与物体两部分，通过组合已知的可及性特征与新物体的特征，实现对新物体的零样本HOI检测。该方法显著提升了HOI检测性能，尤其在罕见和未见交互上表现优异，并实现了弱监督下的物体可及性识别，优于HICO-DET和HOI-COCO数据集上的最先进方法。

ABSTRACT

Reasoning the human-object interactions (HOI) is essential for deeper scene understanding, while object affordances (or functionalities) are of great importance for human to discover unseen HOIs with novel objects. Inspired by this, we introduce an affordance transfer learning approach to jointly detect HOIs with novel objects and recognize affordances. Specifically, HOI representations can be decoupled into a combination of affordance and object representations, making it possible to compose novel interactions by combining affordance representations and novel object representations from additional images, i.e. transferring the affordance to novel objects. With the proposed affordance transfer learning, the model is also capable of inferring the affordances of novel objects from known affordance representations. The proposed method can thus be used to 1) improve the performance of HOI detection, especially for the HOIs with unseen objects; and 2) infer the affordances of novel objects. Experimental results on two datasets, HICO-DET and HOI-COCO (from V-COCO), demonstrate significant improvements over recent state-of-the-art methods for HOI detection and object affordance detection. Code is available at https://github.com/zhihou7/HOI-CL

研究动机与目标

• 解决在视觉场景中检测包含新物体或未见物体的人-物体交互的挑战。
• 通过将可及性表征迁移到新物体上，实现在HOI检测中的零样本泛化。
• 通过统一的、组合式的框架，联合提升HOI检测与物体可及性识别性能。
• 通过利用可及性迁移，减少对罕见或未见交互的全标注数据依赖。

提出的方法

• 使用共享主干网络将HOI表征分解为解耦的可及性与物体特征。
• 通过将HOI数据集中的可及性特征与额外物体检测数据集中的物体特征组合，构建新型HOI样本。
• 利用预训练的可及性表征特征库，实现在新物体上的零样本推理。
• 采用两阶段检测流程：先在HICO-DET上微调物体检测器，再通过组合方式迁移可及性特征。
• 通过使用相同的HOI分类器对组合后的HOI样本进行分类，实现弱监督的可及性识别。
• 应用领域自适应技术，缓解HOI与物体检测数据集之间的领域偏移问题。

实验结果

研究问题

• RQ1 能否有效将现有HOI数据中的可及性表征迁移到新物体上，以实现零样本HOI检测？
• RQ2 组合可及性与物体特征在罕见和未见交互上的检测性能提升机制是什么？
• RQ3 HOI检测模型在弱监督物体可及性识别任务中的适用程度如何？
• RQ4 可及性迁移学习对物体检测框质量的敏感程度如何？
• RQ5 HOI与物体检测数据集之间的领域偏移是否会导致可及性迁移性能下降？

主要发现

• 当使用微调后的物体检测器时，所提出的ATL方法在HICO-DET测试集上达到30.79%的mAP，显著优于基线方法（23.44%）和COCO检测器基线（20.08%）。
• 在使用真实标注物体框时，ATL在HICO-DET上达到44.27%的mAP，表明在理想条件下性能表现强劲。
• 在HOI-COCO数据集上，当使用COCO图像子集的物体特征时，ATL在完整HOI上达到24.74%的mAP，证明了跨领域迁移能力。
• ATL在所有置信度阈值下均提升了物体可及性识别的F1分数，尤其在检测置信度较低时表现优于基于物体检测结果的方法。
• 该方法对物体检测器质量高度敏感：当使用COCO检测器时，性能显著下降，凸显了在ATL中高质量物体检测的重要性。
• 定性结果表明，ATL成功检测到未见HOI（如“骑老虎”），而基线方法完全失败，证实了其具备零样本泛化能力。