[论文解读] Cascaded Human-Object Interaction Recognition

Tianfei Zhou, Wenguan Wang+3 more|arXiv (Cornell University)|Mar 9, 2020

Multimodal Machine Learning Applications参考文献 54被引用 8

一句话总结

该论文提出了一种级联的、从粗到精的神经网络架构，用于人体-物体交互（HOI）识别，整合了多阶段实例定位与交互识别，并引入了跨阶段特征传播。该方法在ICCV 2019年“上下文中的个体”挑战赛中，关系检测与分割任务均获得第一名，证明了基于像素级掩码的表征优于传统的边界框特征。

ABSTRACT

Rapid progress has been witnessed for human-object interaction (HOI) recognition, but most existing models are confined to single-stage reasoning pipelines. Considering the intrinsic complexity of the task, we introduce a cascade architecture for a multi-stage, coarse-to-fine HOI understanding. At each stage, an instance localization network progressively refines HOI proposals and feeds them into an interaction recognition network. Each of the two networks is also connected to its predecessor at the previous stage, enabling cross-stage information propagation. The interaction recognition network has two crucial parts: a relation ranking module for high-quality HOI proposal selection and a triple-stream classifier for relation prediction. With our carefully-designed human-centric relation features, these two modules work collaboratively towards effective interaction understanding. Further beyond relation detection on a bounding-box level, we make our framework flexible to perform fine-grained pixel-wise relation segmentation; this provides a new glimpse into better relation modeling. Our approach reached the $1^{st}$ place in the ICCV2019 Person in Context Challenge, on both relation detection and segmentation tasks. It also shows promising results on V-COCO.

研究动机与目标

• 通过引入多阶段、从粗到精的推理框架，解决人体-物体交互识别固有的复杂性问题。
• 通过利用以人为中心的特征（包括面部模式与语义信息），提升动作推理能力，从而改善交互理解。
• 探索并验证基于像素级掩码的表征相较于传统边界框表征在HOI建模中的有效性。
• 将框架从边界框级别的检测扩展至更精细的像素级关系分割。

提出的方法

• 该模型采用包含三个阶段的级联架构，每个阶段通过实例定位网络对HOI候选进行逐步优化。
• 交互识别网络包含一个关系排序模块（RRM）与一个三流分类器（RCM），用于在高质量候选对上选择并预测交互关系。
• 通过学习的分数融合策略，提取并融合以人为中心的特征（语义、几何与视觉特征），以增强关系表征。
• 跨阶段连接机制实现了相邻阶段之间的信息流动，提升了特征学习与推理准确性。
• 通过将RoIAlign适配至掩码区域，该框架同时支持边界框级别的关系检测与像素级的关系分割。
• 采用混合特征融合策略，通过逐元素最大值与求和操作结合边界框与掩码特征，用于消融分析。

实验结果

研究问题

• RQ1 与单阶段模型相比，级联的、从粗到精的架构是否能提升人体-物体交互识别的准确率与鲁棒性？
• RQ2 面部模式与语义等以人为中心的特征如何增强HOI识别中的交互理解？
• RQ3 在建模人体-物体交互时，基于像素级掩码的表征是否比传统的边界框表征更有效？
• RQ4 该级联框架是否可灵活扩展以实现细粒度的、像素级的关系分割？

主要发现

• 所提出的级联模型在ICCV 2019年“上下文中的个体”挑战赛中，于HOIW（关系检测）与PIC（关系分割）两个赛道均获得第一名。
• 在PIC验证集上，采用ResNet-50主干网络与T=3个阶段时，模型在R@20、R@50与R@100上的指标分别为27.8%、38.3%与45.3%，mAP_rel达到43.7%。
• 使用掩码表征的性能优于边界框表征，尤其在严格评估指标（R@20）下，绝对提升达0.7%。
• 通过逐元素最大值或求和操作融合掩码与边界框特征，性能优于仅使用边界框特征，但仍略低于纯掩码表征。
• 关系排序模块有效过滤了低质量候选，而结合学习分数融合的三流分类器在性能上优于单特征基线。
• 随着阶段数增加，模型推理速度提升，但性能在T=3后趋于饱和，因此T=3被确定为最优设置。