[论文解读] Large-Scale Visual Relationship Understanding

Ji Zhang, Yannis Kalantidis+4 more|arXiv (Cornell University)|Apr 27, 2018

Multimodal Machine Learning Applications参考文献 44被引用 15

一句话总结

该论文提出了一种新型深度学习模型，用于大规模视觉关系检测，通过将视觉和语义特征联合嵌入共享空间，同时保留判别能力与语义相似性。通过采用多级特征融合策略和带有语义一致性正则化的对比三元组损失，该模型在包含超过53,000个物体和29,000个关系类别的基准上实现了最先进性能，即使在极端长尾类别分布下也表现优异。

ABSTRACT

Large scale visual understanding is challenging, as it requires a model to handle the widely-spread and imbalanced distribution of triples. In real-world scenarios with large numbers of objects and relations, some are seen very commonly while others are barely seen. We develop a new relationship detection model that embeds objects and relations into two vector spaces where both discriminative capability and semantic affinity are preserved. We learn both a visual and a semantic module that map features from the two modalities into a shared space, where matched pairs of features have to discriminate against those unmatched, but also maintain close distances to semantically similar ones. Benefiting from that, our model can achieve superior performance even when the visual entity categories scale up to more than 80,000, with extremely skewed class distribution. We demonstrate the efficacy of our model on a large and imbalanced benchmark based of Visual Genome that comprises 53,000+ objects and 29,000+ relations, a scale at which no previous work has ever been evaluated at. We show superiority of our model over carefully designed baselines on the original Visual Genome dataset with 80,000+ categories. We also show state-of-the-art performance on the VRD dataset and the scene graph dataset which is a subset of Visual Genome with 200 categories.

研究动机与目标

• 为解决大规模开放词汇视觉关系检测中的长尾问题，其中关系涉及超过80,000个唯一类别。
• 在极端类别不平衡的情况下，仍能保持视觉-语义嵌入空间中的判别能力与语义亲和力。
• 通过联合特征学习建模主语、关系和宾语之间的语义联系，提升对罕见关系的泛化能力。
• 在大规模、不平衡的基准（如Visual Genome (VG80k)）以及VRD和场景图等标准数据集上验证有效性。

提出的方法

• 提出双分支网络，分别学习主语和宾语的视觉与语义嵌入，随后在多级层次上融合特征，再进行关系预测。
• 采用共享嵌入空间，使匹配的视觉-语义对彼此靠近，而不匹配的对则相互远离，使用对比三元组损失实现。
• 引入一种新颖的一致性损失 $\mathcal{L}_c$，强制具有相同标签（如相同物体类别）的视觉特征被紧密嵌入，以保持结构一致性。
• 通过联合优化视觉与语义特征，采用结合对比损失、分类损失与一致性项的多任务损失。
• 通过主语与宾语特征的后期拼接，为关系预测提供强有力的上下文先验。
• 联合微调视觉与语义表示，而非依赖预训练嵌入，以提升对齐效果与整体性能。

实验结果

研究问题

• RQ1 统一模型能否在大规模场景下有效学习视觉-语义嵌入，处理超过53,000个物体和29,000个关系类别？
• RQ2 模型如何在长尾、开放词汇的视觉关系检测中，同时保持判别能力与语义相似性？
• RQ3 主语与宾语特征的多级融合是否能提升关系预测性能，尤其是在罕见或复杂关系上？
• RQ4 在极端长尾场景下，带有语义一致性正则化的对比损失是否优于标准分类损失与三元组损失基线？

主要发现

• 该模型在包含超过80,000个类别的Visual Genome数据集上实现了最先进性能，该规模此前未被先前方法测试过。
• 在VG80k验证集上，该模型在 $m=0.2$ 的 margin 下达到28.13%的top-1准确率和47.48%的平均召回率，优于未使用一致性损失 $\mathcal{L}_c$ 的模型。
• 消融实验证实，同时使用三种损失（$\mathcal{L}_y$，$\mathcal{L}_x$，$\mathcal{L}_c$）可获得最佳性能，其中 $\mathcal{L}_c$ 对保持视觉特征的结构一致性至关重要。
• 该模型对罕见关系泛化良好，即使预测错误，也能生成语义上有意义的结果，例如将"lamp on pole"预测为"light on pole"。
• 当 $m=0.2$ 时，三元组损失表现最优；而更大的 margin 会降低性能，因为其对所有负样本一视同仁，而本工作采用基于 softmax 的对比方法则更具区分性。
• 定性结果表明，该模型成功捕捉了各类关系——互动型、位置型、属性型——涵盖频繁与罕见类别。