[论文解读] GTNet:Guided Transformer Network for Detecting Human-Object Interactions

Adnan Iftekhar, Satish Kumar+3 more|arXiv (Cornell University)|Aug 2, 2021

Multimodal Machine Learning Applications参考文献 60被引用 4

一句话总结

GTNet 提出了一种引导式 Transformer 网络，通过融合相对空间配置和物体语义信息来引导自注意力机制，从而提升人-物体交互（HOI）检测性能，在 V-COCO（58.29 mAP）和 HICO-DET 数据集上实现了最先进水平，得益于更优的上下文特征编码。

ABSTRACT

The human-object interaction (HOI) detection task refers to localizing humans, localizing objects, and predicting the interactions between each human-object pair. HOI is considered one of the fundamental steps in truly understanding complex visual scenes. For detecting HOI, it is important to utilize relative spatial configurations and object semantics to find salient spatial regions of images that highlight the interactions between human object pairs. This issue is addressed by the novel self-attention based guided transformer network, GTNet. GTNet encodes this spatial contextual information in human and object visual features via self-attention while achieving state of the art results on both the V-COCO and HICO-DET datasets. Code will be made available online.

研究动机与目标

• 通过有效利用空间上下文和物体语义信息，提升人-物体交互检测性能。
• 解决现有方法在编码与 HOI 预测相关空间上下文方面的局限性。
• 开发一种新型引导机制，增强 Transformer 在视觉关系检测中的自注意力机制。
• 在标准 HOI 基准数据集 V-COCO 和 HICO-DET 上实现最先进性能。

提出的方法

• GTNet 使用主干网络从输入图像和人/物体边界框中提取视觉特征。
• 引导模块将相对空间配置与物体语义信息（通过词嵌入表示）结合，生成注意力机制的查询向量。
• TX 模块使用引导查询，通过基于 Transformer 的自注意力机制，将空间上下文信息融入视觉特征。
• 网络采用早期特征融合策略，结合特征并预测交互关系。
• 引导机制通过拼接或逐元素乘积的方式结合空间与语义特征，以优化注意力查询。
• 使用大小为 64×64 的可学习空间图来编码相对空间布局，1×1 卷积层生成通道数为 512 的键和值，以实现最佳性能。

Figure 1: GTNet’s performance with and without its guidance mechanism. Blue indicates GTNet’s predictions with the guidance mechanism; red indicates without. Green bounding boxes indicate the human under consideration; yellow boxes indicate the object. Left column: Simple Scenarios (higher confidenc

实验结果

研究问题

• RQ1 通过更有效地编码空间与语义上下文，引导式自注意力能否提升 HOI 检测性能？
• RQ2 结合物体语义与相对空间布局，对注意力机制驱动的特征优化在 HOI 任务中产生何种影响？
• RQ3 专用引导机制是否在捕捉交互相关的关键空间上下文方面优于标准注意力机制？
• RQ4 空间图大小与特征维度的最佳配置是什么？

主要发现

• GTNet 在 V-COCO 测试集上达到 58.29 mAP 的平均平均精度，创下新的最先进水平。
• 当引入引导机制后，模型性能提升超过 6 mAP，证明其在性能提升中起着关键作用。
• 仅使用语义引导的性能优于仅使用空间引导，表明物体类别信息比单独的空间布局更有效。
• 采用逐元素乘积方式进行引导的性能（58.29 mAP）优于拼接方式（57.02 mAP），表明查询优化得到改善。
• 增加键和值的通道数（最高至 512）以及空间图大小（最高至 64×64）可提升性能，最终在 GPU 显存限制下选定 64×64 空间图与 512 通道配置。
• 定性结果表明，GTNet 即使在复杂场景中也能正确识别交互关系，类激活图清晰突出相关空间上下文。

Figure 2: Model Overview. We extract human and object feature vectors from the input feature map, $\mathbf{F}$ via two RRG operations. For clarity we do not explicitly show two separate RRG operations. Human and object features are used to generate a query vector, $\mathbf{f}_{Q}$ . Before feeding $