[论文解读] GEN-VLKT: Simplify Association and Enhance Interaction Understanding for HOI Detection

Yue Liao, Aixi Zhang+4 more|arXiv (Cornell University)|Mar 26, 2022

Multimodal Machine Learning Applications被引用 9

一句话总结

该论文提出 GEN-VLKT，一种基于查询的 HOI 检测框架，通过引导嵌入机制简化人-物关联，并通过 CLIP 的视觉-语言知识蒸馏增强交互理解。通过用位置引导嵌入替代后处理匹配，并使用 CLIP 提供的文本嵌入初始化分类器，GEN-VLKT 实现了最先进性能，包括在 HICO-Det 上取得 5.05 mAP 的提升，以及在零样本泛化方面显著改进。

ABSTRACT

The task of Human-Object Interaction~(HOI) detection could be divided into two core problems, i.e., human-object association and interaction understanding. In this paper, we reveal and address the disadvantages of the conventional query-driven HOI detectors from the two aspects. For the association, previous two-branch methods suffer from complex and costly post-matching, while single-branch methods ignore the features distinction in different tasks. We propose Guided-Embedding Network~(GEN) to attain a two-branch pipeline without post-matching. In GEN, we design an instance decoder to detect humans and objects with two independent query sets and a position Guided Embedding~(p-GE) to mark the human and object in the same position as a pair. Besides, we design an interaction decoder to classify interactions, where the interaction queries are made of instance Guided Embeddings (i-GE) generated from the outputs of each instance decoder layer. For the interaction understanding, previous methods suffer from long-tailed distribution and zero-shot discovery. This paper proposes a Visual-Linguistic Knowledge Transfer (VLKT) training strategy to enhance interaction understanding by transferring knowledge from a visual-linguistic pre-trained model CLIP. In specific, we extract text embeddings for all labels with CLIP to initialize the classifier and adopt a mimic loss to minimize the visual feature distance between GEN and CLIP. As a result, GEN-VLKT outperforms the state of the art by large margins on multiple datasets, e.g., +5.05 mAP on HICO-Det. The source codes are available at https://github.com/YueLiao/gen-vlkt.

研究动机与目标

• 解决传统基于查询的 HOI 检测器在人-物关联和交互理解方面的局限性。
• 通过引入位置引导嵌入机制，消除双分支 HOI 检测器中的复杂后处理，实现端到端关联。
• 通过从 CLIP 预训练的视觉-语言模型中迁移知识，提升零样本和罕见类别泛化能力。
• 通过文本驱动的分类器初始化和来自 CLIP 的视觉特征模仿，增强交互理解。
• 在标准和零样本 HOI 检测基准上均实现最先进性能。

提出的方法

• 提出一种双分支基于查询的 Transformer 解码器架构，分别使用独立的查询集进行人和物体检测。
• 引入位置引导嵌入（p-GE），在相同空间位置上关联人和物体查询，无需后处理。
• 设计实例引导嵌入（i-GE），从成对的人和物体查询中生成交互查询，用于特定任务的特征学习。
• 采用视觉-语言知识迁移（VLKT）策略，使用 CLIP 嵌入的文本特征初始化交互分类器，实现先验知识整合。
• 应用模仿损失，将 HOI 检测器的视觉特征与 CLIP 的特征对齐，最小化特征分布差异。
• 在模仿损失组件中使用 L1 损失，实证表明其性能优于 L2 或联合损失。

实验结果

研究问题

• RQ1 基于查询的 HOI 检测器是否能在消除后处理的同时，维持或提升关联准确率？
• RQ2 来自 CLIP 的视觉-语言预训练如何提升 HOI 检测中的交互理解，特别是对罕见或未见动词和物体？
• RQ3 使用 CLIP 嵌入的文本表示初始化交互分类器，是否能缓解 HOI 数据集中长尾分布问题？
• RQ4 从 CLIP 到密集预测 HOI 检测器的知识蒸馏，最优损失函数是什么？
• RQ5 所提出的框架在包含未见动词或物体的零样本设置下，泛化能力如何？

主要发现

• GEN-VLKT 在 HICO-Det 数据集上相比之前最先进方法实现了 5.05 mAP 的提升。
• 在罕见优先设置下，GEN-VLKT 将 mAP 从 13.16 提升至 21.36，相对于基线提升了 8.84 mAP。
• 在未见物体检测中，GEN-VLKT 相较于 ATL 实现了 95.95% 的相对 mAP 提升，在未见类别设置下提升了 108.12%。
• 在未见动词（UV）设置下，GEN-VLKT 相较于基线实现了 55.03% 的相对 mAP 提升，展现出强大的零样本泛化能力。
• 消融研究证实，L1 模仿损失优于 L2 和联合损失，带来 1.66 mAP 的增益。
• 移除 i-GE 或 p-GE 分别导致 mAP 显著下降 1.05 和 0.65，验证了其在特征解耦和关联中的关键作用。