[论文解读] Mining the Benefits of Two-stage and One-stage HOI Detection

Aixi Zhang, Yue Liao+5 more|arXiv (Cornell University)|Aug 11, 2021

Multimodal Machine Learning Applications参考文献 38被引用 35

一句话总结

本文分析两阶段和一阶段的 HOI 检测器，并提出 Cascade Disentangling Network (CDN)，一个将人-对象对检测与交互分类分离的 一阶段框架，在 HICO-Det 上尤其对稀有类别取得了巨大提升。

ABSTRACT

Two-stage methods have dominated Human-Object Interaction (HOI) detection for several years. Recently, one-stage HOI detection methods have become popular. In this paper, we aim to explore the essential pros and cons of two-stage and one-stage methods. With this as the goal, we find that conventional two-stage methods mainly suffer from positioning positive interactive human-object pairs, while one-stage methods are challenging to make an appropriate trade-off on multi-task learning, i.e., object detection, and interaction classification. Therefore, a core problem is how to take the essence and discard the dregs from the conventional two types of methods. To this end, we propose a novel one-stage framework with disentangling human-object detection and interaction classification in a cascade manner. In detail, we first design a human-object pair generator based on a state-of-the-art one-stage HOI detector by removing the interaction classification module or head and then design a relatively isolated interaction classifier to classify each human-object pair. Two cascade decoders in our proposed framework can focus on one specific task, detection or interaction classification. In terms of the specific implementation, we adopt a transformer-based HOI detector as our base model. The newly introduced disentangling paradigm outperforms existing methods by a large margin, with a significant relative mAP gain of 9.32% on HICO-Det. The source codes are available at https://github.com/YueLiao/CDN.

研究动机与目标

• 评估传统的两阶段和一阶段 HOI 检测器的优点与不足。
• 提出一个统一的、端到端的一阶段框架，解耦检测与交互分类。
• 证明级联解耦可以提升 HOI 检测性能，特别是对稀有类别。

提出的方法

• 引入 Cascade Disentangling Network (CDN)，具有两个级联解码器：Human-Object Pair Decoder (HO-PD) 和 Interaction Decoder。
• HO-PD 去除交互头，以专注于检测人-对象对，产生 HO 预测和一个交互分数。
• 将 HO-PD 的输出作为查询用于初始化 Interaction Decoder，后者为每个 HO 对预测动作类别。
• 采用以变换器为基础的检测器作为基线（继承自 DETR/前期 HOI 工作）并使用类似于 QPIC 的二分匹配损失进行训练。
• 在训练时应用解耦的动态再加权方案，以缓解训练中的长尾 HOI 分布。
• 推理阶段，使用 Pair-wise Non-Maximal Suppression (PNMS) 来细化 HOI 三元组。

实验结果

研究问题

• RQ1 在一个一阶段框架内的级联解耦检测和交互分类，是否能超越传统的两阶段 HOI 检测器？
• RQ2 与并行多任务头相比，级联是否能提升检测与交互分类的特征专业化？
• RQ3 与最先进方法相比，提出的 CDN 在标准 HOI 基准（HICO-Det、V-COCO）上的表现，尤其是在稀有类别方面如何？
• RQ4 哪些训练策略（如动态再加权、PNMS）有助于缓解 HOI 检测中的长尾问题？

主要发现

• CDN 在 HOI 检测上显著优于以往方法，在 HICO-Det 上获得了较大幅度的提升（例如 CDN-B 和 CDN-L 达到顶级结果）。
• CDN-S 基线在全分数 mAP 上比 QPIC 高出 6.50%，并在稀有类别上特别显著的提升（例如在稀有 HOI 上相对提升 +23.66%）。
• 解耦的级联（先是 HO-PD，再进行独立的交互解码）具有更好的专业化：HO-PD 专注于检测区域，而 Interaction Decoder 强调交互上下文（如手部参与持有等）。
• 在 HICO-Det 上，CDN-S/B/L 分别达到 31.44/31.78/32.07 mAP，相较于 QPIC 的 29.07，取得了显著提升；在 V-COCO 上，CDN-B 在 Scenario 2 获得 64.42 AP_role，Scenario 1 为 62.29。
• 动态再加权和 PNMS 能带来额外的性能提升，PNMS 使 CDN-B 在 HICO-Det 上达到 31.78 mAP。