[论文解读] Weakly-supervised HOI Detection via Prior-guided Bi-level Representation Learning

Bo Wan, Yongfei Liu+3 more|arXiv (Cornell University)|Mar 2, 2023

Advanced Neural Network Applications被引用 5

一句话总结

本文提出了一种CLIP引导的双层表征学习框架，用于弱监督HOI检测，通过知识库和自教相关性分类，利用图像级和HOI实例级先验知识。该方法在HICO-DET和V-COCO数据集上实现了最先进性能，在罕见和细粒度交互任务上显著提升了准确率，同时减少了噪声的人-物关联。

ABSTRACT

Human object interaction (HOI) detection plays a crucial role in human-centric scene understanding and serves as a fundamental building-block for many vision tasks. One generalizable and scalable strategy for HOI detection is to use weak supervision, learning from image-level annotations only. This is inherently challenging due to ambiguous human-object associations, large search space of detecting HOIs and highly noisy training signal. A promising strategy to address those challenges is to exploit knowledge from large-scale pretrained models (e.g., CLIP), but a direct knowledge distillation strategy~\citep{liao2022gen} does not perform well on the weakly-supervised setting. In contrast, we develop a CLIP-guided HOI representation capable of incorporating the prior knowledge at both image level and HOI instance level, and adopt a self-taught mechanism to prune incorrect human-object associations. Experimental results on HICO-DET and V-COCO show that our method outperforms the previous works by a sizable margin, showing the efficacy of our HOI representation.

研究动机与目标

• 为解决弱监督HOI检测中的挑战，包括模糊的人-物关联、巨大的搜索空间以及噪声的图像级监督。
• 通过利用CLIP中的先验知识，改进细粒度和长尾HOI类别表征学习。
• 减少对物体检测器特征的依赖，这些特征不足以捕捉交互语义。
• 通过自教机制减少数据集偏差和噪声提议，以修剪错误关联。
• 开发一种双层知识融合策略，在图像级和成对级别增强HOI表征。

提出的方法

• 全局分支利用CLIP的视觉和文本嵌入生成图像级HOI预测，并构建关系知识库。
• 局部分支通过新颖的注意力机制，利用CLIP引导的知识库增强人-物提议特征。
• 知识迁移网络（KTN）将知识库与基于区域的特征融合，以丰富成对交互表征。
• 自教相关性分类（SRC）头预测某个人-物对在语义上是否相关，从而抑制无关关联。
• 最终的HOI得分由全局分支和成对分支融合得到，训练仅依赖图像级标签。
• 视觉编码器和知识库从CLIP初始化，确保强泛化能力和先验知识整合。

Figure 1: Model Overview: There are four modules in our network: a backbone Network, an HOI recognition network, a knowledge transfer network and a pairwise classification network.

实验结果

研究问题

• RQ1 当仅有图像级标注可用时，基于CLIP的先验知识是否能提升弱监督HOI检测性能？
• RQ2 如何通过图像级与实例级的双层知识融合，增强细粒度HOI识别的表征学习？
• RQ3 在弱监督设置下，自教相关性分类头是否能有效抑制噪声的人-物关联？
• RQ4 与随机初始化或检测预训练初始化相比，CLIP初始化在泛化能力和对长尾分布的鲁棒性方面是否表现更优？
• RQ5 与先前方法相比，该方法在罕见和模糊HOI类别上的性能提升程度如何？

主要发现

• 所提方法在HICO-DET上实现了新的SOTA，Full mAP达到38.79，显著优于先前的弱监督方法。
• 在V-COCO上，该方法达到33.88 Full mAP，展现出在不同基准上的强大泛化能力。
• 当与KTN结合时，自教相关性分类（SRC）头使Full mAP提升0.49，表明能有效修剪错误关联。
• 模型在罕见HOI类别上达到16.20 mAP，比基线高出0.63 mAP，表明对长尾分布的处理能力更强。
• 知识库的随机初始化使罕见类别mAP从16.20降至15.57，证实了基于CLIP初始化的重要性。
• 定性结果表明，罕见HOI预测的置信度得到提升，且能更好地区分语义相似的交互（如repair_truck与inspect_truck）。

Figure 2: The knowledge transfer network explicitly transfers the discriminative relation-level semantic knowledge derived from CLIP to the pairwise HOI representations. Pseudo relatedness label generation uses the pairwise interaction scores to generate the pseudo association labels for self-taught