[论文解读] Introduction to the 1st Place Winning Model of OpenImages Relationship Detection Challenge

Ji Zhang, Kevin J. Shih+3 more|arXiv (Cornell University)|Nov 1, 2018

Multimodal Machine Learning Applications参考文献 5被引用 6

一句话总结

本论文展示了在 OpenImages 视觉关系检测挑战赛中获得第一名的模型，该模型结合了强大的语言偏置基线与空间及视觉特征融合。通过利用经验性谓词分布、空间框偏移量以及 ROI 对齐特征中的视觉特征，该模型通过模块化、累加式的语义、空间与视觉分支融合，实现了最先进性能，在验证集上达到 45.14 mAP，在公开测试集上达到 33.21 mAP。

ABSTRACT

This article describes the model we built that achieved 1st place in the OpenImage Visual Relationship Detection Challenge on Kaggle. Three key factors contribute the most to our success: 1) language bias is a powerful baseline for this task. We build the empirical distribution $P(predicate|subject,object)$ in the training set and directly use that in testing. This baseline achieved the 2nd place when submitted; 2) spatial features are as important as visual features, especially for spatial relationships such as "under" and "inside of"; 3) It is a very effective way to fuse different features by first building separate modules for each of them, then adding their output logits before the final softmax layer. We show in ablation study that each factor can improve the performance to a non-trivial extent, and the model reaches optimal when all of them are combined.

研究动机与目标

• 为 OpenImages 挑战赛开发一个高性能的视觉关系检测模型，解决预测主体-谓词-客体三元组（包含空间与语义关系）的复杂性。
• 探究在训练数据中谓词分布有限且存在偏差的背景下，语言偏置作为强基线在视觉关系检测中的有效性。
• 评估空间特征（特别是相对框坐标）在空间关系（如 'under' 和 'inside of'）预测中的贡献。
• 设计一种模块化、累加式的融合策略，将语义、空间与视觉特征结合，无需端到端联合训练。
• 通过整合语言偏置、空间编码与视觉特征学习三者，实现最优性能。

提出的方法

• 该模型将任务分解为两个阶段：首先通过预训练检测器（f_det）进行目标检测，随后利用检测到的主体与客体特征进行关系分类（f_rel）。
• 语义模块使用训练数据中经验性分布 P(predicate|subject,object) 作为强基线，捕捉关系构成中的语言偏置。
• 空间模块通过框偏移量 Δ(b_S, b_O) 和归一化坐标 c(b) 编码相对框位置，实现对 'on' 和 'under' 等空间谓词的准确预测。
• 视觉模块通过两层前馈网络处理主体与客体区域的 ROI 对齐特征，额外分支用于主体或客体单独的预测，以捕捉基于外观的关系。
• 最终关系得分通过在 softmax 应用前对所有三个模块（语义、空间、视觉）的 logits 进行求和计算，实现有效的累加式特征融合。
• 对于 'is' 关系（属性预测），训练了一个基于 Fast-RCNN 的独立模型，用于在目标提议上预测属性分布。

实验结果

研究问题

• RQ1 基于经验性谓词频率的语言偏置基线在视觉关系检测中有多有效？
• RQ2 通过框偏移量与归一化坐标编码的空间特征在空间关系上的性能提升程度如何？
• RQ3 模块化、累加式融合语义、空间与视觉特征是否优于端到端训练或元素级融合？
• RQ4 各组件（语言偏置、空间、视觉）对整体性能的贡献如何？它们之间如何相互作用？
• RQ5 在不微调目标检测器的前提下，简单基线结合互补特征能否实现最先进结果？

主要发现

• 仅使用语言偏置基线即在公开测试集上取得 22.21 mAP 的第二名成绩，证明语言先验在视觉关系检测中具有强大的预测能力。
• 加入视觉模块后，mAP_rel 从基线的 26.54 提升至 34.16，表明视觉外观对非空间关系（如 'play' 或 'wear'）的预测至关重要。
• 引入空间特征后，mAP_rel 从 34.16 提升至 34.96，mAP_phr 从 39.59 提升至 40.70，证实空间编码对空间谓词预测至关重要。
• 完整模型（整合语义、空间、视觉及主体/客体特异性预测）在验证集上达到 45.14 mAP，在公开测试集上达到 33.21 mAP，夺得第一名。
• 消融实验确认各组件均有非平凡贡献，其中视觉与空间特征相较基线带来的增益最大。
• 该模型成功解决了多实例场景中的指代模糊问题，能正确识别复杂场景中哪个人正在骑哪匹马。