[论文解读] Boosting Human-Object Interaction Detection with Text-to-Image Diffusion Model

Jie Yang, Bingliang Li+4 more|arXiv (Cornell University)|May 20, 2023

Multimodal Machine Learning Applications被引用 6

一句话总结

本文提出 DiffHOI，一种新颖的人-物交互（HOI）检测框架，通过适配器式微调从 Stable Diffusion 和 CLIP 模型中提取语义特征，利用冻结的文本到图像扩散模型增强交互表征学习。该工作还引入了 SynHOI，一个大规模、类别平衡、多样化的合成 HOI 数据集，包含超过 140,000 张图像，在 HICO-DET 上达到 41.50 mAP 的性能，并在罕见类别上实现 11.55% 的 mAP 提升，显著优于当前最先进方法，无论在零样本还是常规检测设置下均表现优异。

ABSTRACT

This paper investigates the problem of the current HOI detection methods and introduces DiffHOI, a novel HOI detection scheme grounded on a pre-trained text-image diffusion model, which enhances the detector's performance via improved data diversity and HOI representation. We demonstrate that the internal representation space of a frozen text-to-image diffusion model is highly relevant to verb concepts and their corresponding context. Accordingly, we propose an adapter-style tuning method to extract the various semantic associated representation from a frozen diffusion model and CLIP model to enhance the human and object representations from the pre-trained detector, further reducing the ambiguity in interaction prediction. Moreover, to fill in the gaps of HOI datasets, we propose SynHOI, a class-balance, large-scale, and high-diversity synthetic dataset containing over 140K HOI images with fully triplet annotations. It is built using an automatic and scalable pipeline designed to scale up the generation of diverse and high-precision HOI-annotated data. SynHOI could effectively relieve the long-tail issue in existing datasets and facilitate learning interaction representations. Extensive experiments demonstrate that DiffHOI significantly outperforms the state-of-the-art in regular detection (i.e., 41.50 mAP) and zero-shot detection. Furthermore, SynHOI can improve the performance of model-agnostic and backbone-agnostic HOI detection, particularly exhibiting an outstanding 11.55% mAP improvement in rare classes.

研究动机与目标

• 为解决现有 HOI 数据集中长期存在的类别长尾分布与多样性不足问题，以促进对罕见及细微交互类别的有效学习。
• 通过利用预训练文本到图像扩散模型提供的丰富上下文感知表征，缓解 HOI 检测中交互预测的模糊性。
• 开发一种可扩展的自动化流水线，用于生成高多样性、高精度的合成 HOI 图像，并附带完整的三元组标注（人、物、交互）。
• 通过适配器式微调融合来自冻结扩散模型与 CLIP 模型的语义特征，提升人与物体的表征学习能力。
• 证明合成数据与基于扩散的表征可提升模型无关与主干网络无关的 HOI 检测性能。

提出的方法

• 提出 DiffHOI，一种检测框架，整合预训练目标检测器与交互解码器，融合来自冻结文本到图像扩散模型（Stable Diffusion）和 CLIP 的语义表征。
• 引入一种适配器式微调方法，从扩散模型内部特征空间中提取并对齐与动词相关的上下文表征（$\boldsymbol{V}_{sd}$），使其与 CLIP 的全局与局部表征（$\boldsymbol{v}_{clip}$）对齐。
• 设计一种可扩展的自动化流水线，生成超过 140,000 张带有完整三元组标注（人、物、交互）的合成 HOI 图像，确保类别平衡与高多样性。
• 利用扩散时间步 $t$ 控制特征提取过程中的噪声水平，消融实验表明在 $t=0$（原始含噪图像）时性能最优。
• 采用预训练与联合训练策略，结合 SynHOI 及其高质量子集 SynHOI-Sub，以提升泛化能力与罕见类别检测性能。
• 应用对比学习与知识蒸馏原则，对齐不同模型间的交互表征，提升零样本泛化能力。

实验结果

研究问题

• RQ1 冻结的文本到图像扩散模型内部表征是否能有效捕捉与 HOI 检测相关的动词概念及其上下文细微差别？
• RQ2 如何有效适配预训练扩散模型的语义特征，以提升下游检测任务中的人-物交互表征？
• RQ3 大规模、合成的、类别平衡的 HOI 数据集在多大程度上可缓解真实世界 HOI 数据集中存在的长尾分布问题？
• RQ4 融合基于扩散与基于 CLIP 的表征是否能在频繁与罕见交互类别上均带来一致的 mAP 提升？
• RQ5 所提方法是否可在无需架构修改的前提下，泛化至不同主干网络与检测架构？

主要发现

• DiffHOI 在 HICO-DET 基准上达到 41.50 mAP，显著优于先前最先进方法（在相同评估协议下报告为 33.73 mAP）。
• 该方法在罕见 HOI 类别（训练样本少于 10 个）上实现 11.55% 的 mAP 提升，表明其在长尾分布上的强大泛化能力。
• 使用 SynHOI-Sub 进行联合训练，使 DiffHOI 模型 mAP 提升 0.58，GEN-VLKT 模型 mAP 提升 0.69，表明合成数据在提升泛化能力方面的有效性。
• 消融实验确认，$\boldsymbol{V}_{sd}$ 在 $t=0$ 时提取的表征性能最佳，而更高噪声水平（$t=500$）会降低性能，表明在扩散早期步骤进行特征提取为最优。
• 与基线相比，引入扩散模型中的 $\boldsymbol{V}_{sd}$ 可使罕见类别 mAP 提升 3.36 mAP，凸显其在捕捉细微交互语义方面的作用。
• SynHOI 实现了模型无关与主干网络无关的性能提升，尤其在罕见类别检测中收益最大，证实其在缓解数据稀缺问题上的实用性。