[论文解读] Glance and Gaze: Inferring Action-aware Points for One-Stage Human-Object Interaction Detection

Xubin Zhong, Xian Qu+2 more|arXiv (Cornell University)|Apr 12, 2021

Visual Attention and Saliency Detection参考文献 34被引用 7

一句话总结

本文提出了一种新型的一阶段人体-物体交互（HOI）检测框架——Glance and Gaze Network（GGNet），通过两步过程自适应地推理出动作感知关键点（ActPoints）：首先通过‘凝视’步骤识别潜在的交互像素，再通过‘注视’步骤逐步优化具有判别性的ActPoints以实现精确的交互预测。GGNet在V-COCO和HICO-DET两个基准上均取得了最先进性能，仅使用单一共享主干网络和外观特征，显著超越了先前方法。

ABSTRACT

Modern human-object interaction (HOI) detection approaches can be divided into one-stage methods and twostage ones. One-stage models are more efficient due to their straightforward architectures, but the two-stage models are still advantageous in accuracy. Existing one-stage models usually begin by detecting predefined interaction areas or points, and then attend to these areas only for interaction prediction; therefore, they lack reasoning steps that dynamically search for discriminative cues. In this paper, we propose a novel one-stage method, namely Glance and Gaze Network (GGNet), which adaptively models a set of actionaware points (ActPoints) via glance and gaze steps. The glance step quickly determines whether each pixel in the feature maps is an interaction point. The gaze step leverages feature maps produced by the glance step to adaptively infer ActPoints around each pixel in a progressive manner. Features of the refined ActPoints are aggregated for interaction prediction. Moreover, we design an actionaware approach that effectively matches each detected interaction with its associated human-object pair, along with a novel hard negative attentive loss to improve the optimization of GGNet. All the above operations are conducted simultaneously and efficiently for all pixels in the feature maps. Finally, GGNet outperforms state-of-the-art methods by significant margins on both V-COCO and HICODET benchmarks. Code of GGNet is available at https: //github.com/SherlockHolmes221/GGNet.

研究动机与目标

• 为解决一阶段HOI检测中预定义交互区域带来的局限性，此类区域常导致语义模糊且难以表征复杂交互。
• 通过引入两阶段机制——凝视与注视，模仿人类视觉注意力，实现对判别性交互关键点的动态、自适应推理。
• 通过设计动作感知关键点匹配策略，为不同交互类别分配特定的回归器，以增强空间定位能力，提升交互预测准确率。
• 通过引入一种新颖的困难负样本注意力损失，聚焦于具有挑战性的误分类样本，提升模型优化效果。
• 仅使用外观特征与单一共享主干网络，实现一阶段HOI检测的最先进性能。

提出的方法

• 凝视步骤执行逐像素分类，以在特征图上识别候选交互关键点，利用轻量化头部快速判断每个像素是否为潜在的交互点。
• 注视步骤通过两个子步骤对动作感知关键点（ActPoints）的位置进行精细化调整：首先预测粗略位置，再估计残差偏移量以实现逐步优化。
• 通过可学习的聚合模块对优化后的ActPoints特征进行聚合，生成富含上下文信息的表示，用于交互预测。
• 动作感知关键点匹配（APM）策略为每类交互分配唯一的定位回归器，提升预测关键点与真实人类-物体对之间的空间对齐性。
• 引入一种新颖的困难负样本注意力损失，使训练过程更聚焦于具有挑战性的、误分类的样本，从而提升泛化能力与优化稳定性。
• 所有组件整合为一个端到端可训练的一阶段框架，实现物体检测与交互预测的高效并行处理。

实验结果

研究问题

• RQ1 一阶段HOI检测模型是否能通过动态推理交互关键点，在保持效率的同时超越两阶段方法的准确率？
• RQ2 与静态预定义区域相比，两阶段视觉注意力机制（凝视与注视）如何提升交互关键点的定位与表征能力？
• RQ3 为交互关键点分配类别特定回归器是否能带来更好的空间对齐性与检测性能提升？
• RQ4 困难负样本注意力损失在多大程度上改善了HOI检测中的模型优化与泛化能力？
• RQ5 仅使用单一共享主干网络与外观特征，能否在一阶段HOI检测中实现最先进性能？

主要发现

• 在V-COCO基准上，GGNet的mAP达到34.89，相较于相同主干设置下的最先进方法PPDM高出3.6%。
• 在HICO-DET上，GGNet在DT模式下达到33.50 mAP，尽管仅使用外观特征，仍超越最佳两阶段方法PD-Net的1.10 mAP。
• 在DT模式下，针对稀有与非稀有类别，GGNet相较于PPDM分别将mAP提升2.70%与2.64%，展现出对长尾数据的强大泛化能力。
• 当使用DRG的检测结果进行评估时，GGNet‡在DT模式下达到34.89 mAP，较DRG⋄‡高出4.64%，凸显其鲁棒性与高效性。
• 定性结果表明，经注视步骤优化后的ActPoints始终位于更具判别性的身体部位（如手部）或物体部位，而初始凝视步骤的关键点则常落在模糊的背景区域。
• 消融实验验证了动作感知关键点匹配与困难负样本注意力损失为关键组件，显著提升了mAP与定位准确率。