[论文解读] QAHOI: Query-Based Anchors for Human-Object Interaction Detection

Junwen Chen, ‪Keiji Yanai‬|arXiv (Cornell University)|Dec 16, 2021

Multimodal Machine Learning Applications被引用 9

一句话总结

QAHOI 提出了一种基于查询的 Transformer 框架，用于单阶段人体-物体交互（HOI）检测，通过多尺度特征提取和可学习查询嵌入，实现了高精度的 HOI 实例定位与分类。通过采用基于 Transformer 的主干网络和基于查询的锚点，该方法能够灵活地在不同空间尺度和距离下关注人体-物体对，在 HICO-DET 上取得了最先进性能。

ABSTRACT

Human-object interaction (HOI) detection as a downstream of object detection tasks requires localizing pairs of humans and objects and extracting the semantic relationships between humans and objects from an image. Recently, one-stage approaches have become a new trend for this task due to their high efficiency. However, these approaches focus on detecting possible interaction points or filtering human-object pairs, ignoring the variability in the location and size of different objects at spatial scales. To address this problem, we propose a transformer-based method, QAHOI (Query-Based Anchors for Human-Object Interaction detection), which leverages a multi-scale architecture to extract features from different spatial scales and uses query-based anchors to predict all the elements of an HOI instance. We further investigate that a powerful backbone significantly increases accuracy for QAHOI, and QAHOI with a transformer-based backbone outperforms recent state-of-the-art methods by large margins on the HICO-DET benchmark. The source code is available at $\href{https://github.com/cjw2021/QAHOI}{ ext{this https URL}}$.

研究动机与目标

• 为解决现有单阶段 HOI 检测方法在处理人体-物体交互中空间可变性和尺度多样性方面的局限性。
• 通过利用多尺度特征图和自注意力机制，提升对远距离或小尺度人体-物体对的特征提取能力。
• 开发一种灵活的基于查询的检测头，能够独立于空间位置对 HOI 实例进行定位与分类。
• 证明强大的基于 Transformer 的主干网络能显著提升 HOI 任务中的检测精度。
• 建立一个可从零开始训练、且与现代目标检测范式兼容的强效单阶段 HOI 检测基线。

提出的方法

• QAHOI 使用分层的基于 Transformer 的主干网络，从不同空间分辨率中提取多尺度特征。
• 它使用 Transformer 编码器关注这些多尺度特征，并生成上下文丰富的视觉表征。
• 一个可学习的基于查询的解码器生成 HOI 嵌入，其中每个查询对应一个潜在的 HOI 实例。
• 交互头直接从查询嵌入中预测边界框、物体类别和动作类别。
• 该方法使用基于查询的锚点，不固定于交互点，从而实现在多样化空间配置下的灵活定位。
• 该方法采用标准 HOI 检测损失进行端到端训练，可使用 Swin-Large 或 Deformable DETR 等强大主干网络进行微调。

(a) Larger Area

实验结果

研究问题

• RQ1 基于查询的 Transformer 框架是否能提升在多样化空间尺度和距离下对人体-物体交互的检测性能？
• RQ2 多尺度特征提取在 HOI 检测中如何增强对小尺度或远距离人体-物体对的检测能力？
• RQ3 主干网络架构的选择在多大程度上影响单阶段 HOI 检测器的性能？
• RQ4 基于查询的检测头在捕捉长距离和模糊的人体-物体关系方面，是否能超越基于交互点的方法？
• RQ5 纯基于 Transformer 的主干网络是否在 HOI 检测中相比基于 CNN 的主干网络具有显著优势？

主要发现

• QAHOI 使用 Swin-Large 主干网络在 HICO-DET 基准上实现了最先进性能，优于近期的 SOTA 方法。
• 在小尺度 HOI 实例（前三个 bin）中，QAHOI 使用 Transformer 主干网络的表现优于使用 ResNet-101 的 QPIC，尤其在最小的 bin 中优势明显。
• QAHOI 使用 ResNet-50 并从 Deformable DETR 微调后，在小尺度实例上的表现与使用 ResNet-101 的 QPIC 相当。
• QAHOI 在长距离 HOI 实例（中心距离 < 0.3× 图像尺寸）上保持了强劲性能，而其他方法在该设置下通常性能下降。
• 基于查询的锚点在定位上表现出灵活性，即使锚点未正确定位于人体-物体对上，也能检测到 HOI 实例。
• 该方法在无需交互点监督的情况下实现了高精度，证明了基于查询的表征在 HOI 检测中的有效性。

(b) Center Distance