[论文解读] Efficient Two-Stage Detection of Human-Object Interactions with a Novel Unary-Pairwise Transformer

Frederic Z. Zhang, Dylan Campbell+1 more|arXiv (Cornell University)|Dec 3, 2021

Multimodal Machine Learning Applications被引用 5

一句话总结

本文提出了一种新颖的两阶段人类-物体交互（HOI）检测模型，采用单体-成对Transformer架构，分别对个体实例（单体）及其交互关系（成对）进行编码，实现在HICO-DET和V-COCO数据集上的最先进性能，训练速度更快、显存占用更低，并可在单张GPU上实现实时推理，尽管采用更轻量的训练范式，仍优于现有的单阶段检测器。

ABSTRACT

Recent developments in transformer models for visual data have led to significant improvements in recognition and detection tasks. In particular, using learnable queries in place of region proposals has given rise to a new class of one-stage detection models, spearheaded by the Detection Transformer (DETR). Variations on this one-stage approach have since dominated human-object interaction (HOI) detection. However, the success of such one-stage HOI detectors can largely be attributed to the representation power of transformers. We discovered that when equipped with the same transformer, their two-stage counterparts can be more performant and memory-efficient, while taking a fraction of the time to train. In this work, we propose the Unary-Pairwise Transformer, a two-stage detector that exploits unary and pairwise representations for HOIs. We observe that the unary and pairwise parts of our transformer network specialise, with the former preferentially increasing the scores of positive examples and the latter decreasing the scores of negative examples. We evaluate our method on the HICO-DET and V-COCO datasets, and significantly outperform state-of-the-art approaches. At inference time, our model with ResNet50 approaches real-time performance on a single GPU.

研究动机与目标

• 解决依赖大型Transformer解码器的单阶段HOI检测器存在的效率低下与显存成本过高的问题。
• 探究使用DETR等现代主干网络的两阶段HOI检测器是否能在准确率与效率方面超越单阶段模型。
• 设计一种新颖的Transformer架构，利用单体与成对表示的互补性以提升HOI检测性能。
• 分析注意力机制在单体与成对层中的作用，以增强正样本预测并抑制误报。
• 证明通过冻结物体检测器权重的两阶段设计，可在不损失性能的前提下实现更快、更节省显存的训练。

提出的方法

• 该模型采用两阶段流程：首先由DETR主干网络检测人体与物体实例，随后由新型单体-成对Transformer处理其特征。
• 单体令牌表示个体人体与物体实例，其内部自注意力机制可提升正样本HOI对的得分。
• 成对令牌表示所有人体-物体对，其跨令牌自注意力机制起到软性非极大值抑制作用，以减少误报。
• 模型采用二分匹配损失，使训练与评估对齐，解决了单阶段检测器中常见的对齐偏差问题。
• 通过可视化与消融实验验证，单体注意力可提升正样本对的得分，而成对注意力则有效抑制负样本。
• 方法使用预训练的DETR权重，并仅微调交互头，从而降低计算成本与环境影响。

实验结果

研究问题

• RQ1 使用现代Transformer主干网络的两阶段HOI检测器是否能在准确率与效率方面超越最先进的一阶段检测器？
• RQ2 Transformer中单体与成对注意力机制在HOI检测性能中分别发挥何种不同作用？
• RQ3 单体流中的注意力在多大程度上提升了正向人类-物体交互对的得分？
• RQ4 成对流中的注意力如何作为软性非极大值抑制机制，有效抑制负样本对？
• RQ5 将物体检测器与交互头解耦是否能实现更快、更节省显存的训练，同时不损失准确率？

主要发现

• 所提出的两阶段模型在HICO-DET上达到31.66 mAP（使用ResNet-50）与32.31 mAP（使用ResNet-101），显著优于最先进的一阶段检测器。
• 模型在单张GPU上实现实时推理速度，展现出高准确率下的强大效率。
• 消融实验表明，若禁用正向单体对之间的注意力，交互得分将下降8%，证实其在提升真正例中的作用。
• 若将负样本对到主导正样本对的注意力置零，其得分下降11%，验证了竞争层对抑制负样本的有效行为。
• 即使使用相同的Transformer主干网络，该模型的训练速度显著快于单阶段检测器，且显存占用更低。
• 在遮挡与低数据场景下性能下降，凸显其在罕见或模糊动作上的泛化能力有限。