[论文解读] On Exploring Undetermined Relationships for Visual Relationship Detection

Yibing Zhan, Jun Yu+2 more|arXiv (Cornell University)|May 5, 2019

Multimodal Machine Learning Applications被引用 13

一句话总结

本文提出了一种基于多模态特征的不确定关系学习网络（MF-URLN），通过联合学习确定性置信度与关系预测，自动生成并利用未标注的、潜在有用的不确定关系（如弱关系、无关系或错误检测到的物体）来提升视觉关系检测性能。该方法在VRD数据集上实现了23.9%的top-50关系检测召回率，显著优于先前方法。

ABSTRACT

In visual relationship detection, human-notated relationships can be regarded as determinate relationships. However, there are still large amount of unlabeled data, such as object pairs with less significant relationships or even with no relationships. We refer to these unlabeled but potentially useful data as undetermined relationships. Although a vast body of literature exists, few methods exploit these undetermined relationships for visual relationship detection. In this paper, we explore the beneficial effect of undetermined relationships on visual relationship detection. We propose a novel multi-modal feature based undetermined relationship learning network (MF-URLN) and achieve great improvements in relationship detection. In detail, our MF-URLN automatically generates undetermined relationships by comparing object pairs with human-notated data according to a designed criterion. Then, the MF-URLN extracts and fuses features of object pairs from three complementary modals: visual, spatial, and linguistic modals. Further, the MF-URLN proposes two correlated subnetworks: one subnetwork decides the determinate confidence, and the other predicts the relationships. We evaluate the MF-URLN on two datasets: the Visual Relationship Detection (VRD) and the Visual Genome (VG) datasets. The experimental results compared with state-of-the-art methods verify the significant improvements made by the undetermined relationships, e.g., the top-50 relation detection recall improves from 19.5% to 23.9% on the VRD dataset.

研究动机与目标

• 探究未标注的不确定关系（如弱关系、负样本或错误检测的物体对）在提升视觉关系检测性能方面的有效性。
• 开发一种自动从人类标注数据中未包含的物体对中生成有意义不确定关系的方法。
• 设计一种融合视觉、空间与语言特征的多模态网络，以更好地表征关系。
• 通过共享且相关的子网络，联合学习确定性置信度与关系预测。
• 证明不确定关系可作为正则化信号，提升视觉关系检测的泛化能力与鲁棒性。

提出的方法

• MF-URLN通过设计的判别准则，将Faster R-CNN检测到的物体对与人工标注的关系进行比较，将无匹配关系的样本标记为不确定关系。
• 对每对物体，提取并融合三种互补模态的特征：视觉（基于CNN）、空间（空间布局）与语言（词嵌入）。
• 采用两个相关联的子网络：一个用于预测确定性置信度（区分确定关系与不确定关系），另一个用于预测实际关系。
• 最终的关系预测通过三个网络的得分几何平均计算得出：联合、主语和宾语特定的关系学习器，使用公式 $ P(R) = P(R|u) \cdot P(R|s) \cdot P(R|o) $。
• 采用联合损失函数，在共享参数框架下训练子网络，实现知识迁移并提升泛化能力。
• 引入推理模型（MF-URLN-IM），通过确定性置信度子网络进一步优化预测结果，提升性能。

实验结果

研究问题

• RQ1 不确定关系（如弱关系、负样本或错误检测的物体对）能否提升视觉关系检测性能？
• RQ2 如何从未标注的图像数据中自动且高效地生成不确定关系？
• RQ3 多模态特征融合（视觉、空间、语言）对建模复杂关系的影响如何？
• RQ4 联合学习确定性置信度与关系预测如何提升检测性能？
• RQ5 使用不确定关系能否减轻错误物体检测在视觉关系检测中的负面影响？

主要发现

• MF-URLN在VRD数据集上实现了23.9%的top-50关系检测召回率，显著高于基线的19.5%。
• 在VRD数据集上，通过引入不确定关系，top-50短语检测召回率从25.2%提升至31.5%。
• MF-URLN-IM变体（引入推理模型）在所有指标上均优于基础MF-URLN，证明了精细化置信度估计的价值。
• 确定性置信度子网络能有效突出人工标注的关系，并抑制由误检物体引起的假阳性，提升检测鲁棒性。
• 失败案例显示，遮挡姿势（如人坐在车上）和低置信度的不确定关系仍是挑战，表明关系评分仍有改进空间。
• 结果证实，不确定关系作为有效的正则化信号，可提升模型在已见关系与零样本关系上的泛化能力与性能。