[论文解读] Knowledge-augmented Few-shot Visual Relation Detection

Tianyu Yu, Yangning Li+9 more|arXiv (Cornell University)|Mar 9, 2023

Multimodal Machine Learning Applications被引用 5

一句话总结

该论文提出了一种知识增强的 few-shot 视觉关系检测框架，利用预训练语言模型获取文本知识，并通过自建的视觉关系知识图谱获取视觉关系事实，显著提升了对罕见关系的泛化能力。该方法在三个 Visual Genome 基准上实现了最先进性能，通过动态、知识增强的关系表征，大幅超越了先前模型的表现。

ABSTRACT

Visual Relation Detection (VRD) aims to detect relationships between objects for image understanding. Most existing VRD methods rely on thousands of training samples of each relationship to achieve satisfactory performance. Some recent papers tackle this problem by few-shot learning with elaborately designed pipelines and pre-trained word vectors. However, the performance of existing few-shot VRD models is severely hampered by the poor generalization capability, as they struggle to handle the vast semantic diversity of visual relationships. Nonetheless, humans have the ability to learn new relationships with just few examples based on their knowledge. Inspired by this, we devise a knowledge-augmented, few-shot VRD framework leveraging both textual knowledge and visual relation knowledge to improve the generalization ability of few-shot VRD. The textual knowledge and visual relation knowledge are acquired from a pre-trained language model and an automatically constructed visual relation knowledge graph, respectively. We extensively validate the effectiveness of our framework. Experiments conducted on three benchmarks from the commonly used Visual Genome dataset show that our performance surpasses existing state-of-the-art models with a large improvement.

研究动机与目标

• 解决 few-shot 视觉关系检测（VRD）模型因关系的长尾分布和语义多样性导致的泛化能力差的问题。
• 通过整合来自预训练语言模型的文本知识和自建知识图谱中的视觉关系知识，提升 few-shot VRD 性能。
• 通过利用外部知识，减少对大规模标注数据的依赖，实现从少量样本中有效泛化。
• 证明结合文本知识与视觉关系知识在 few-shot VRD 中的有效性与广泛适用性。

提出的方法

• 使用预训练语言模型和提示模板，动态生成主体-谓词-客体三元组的知识增强表征，捕捉语义多样性。
• 利用基于规则的解析器从开放域图像字幕中提取并表示常见视觉关系，构建视觉关系知识图谱。
• 通过度量学习框架整合文本知识与视觉关系知识，使相似的关系三元组在嵌入空间中更接近。
• 使用消息传递机制在视觉关系知识图谱的节点间传播知识，丰富关系表征。
• 通过对比损失进行微调，优化支持样本与查询样本之间的相似性，提升 few-shot 泛化能力。
• 将知识增强框架应用于现有 VRD 模型（如 MotifNet 和 IMP），验证其可迁移性与性能增益。

实验结果

研究问题

• RQ1 将来自预训练语言模型的文本知识与知识图谱中的视觉关系知识相结合，能否提升 few-shot VRD 的泛化能力？
• RQ2 外部知识的整合对 VRD 中低资源、罕见关系的性能有何影响？
• RQ3 不同粒度的视觉关系知识图谱（如 0-hop 与 1-hop 与完整图）对模型性能有何影响？
• RQ4 所提出的知识增强框架能否有效应用于改进现有的最先进 VRD 模型？

主要发现

• 所提框架在 Visual Genome 数据集的三个基准上均达到最先进性能，超越了现有 SOTA 模型。
• 模型性能在使用 1-hop 视觉关系知识时显著提升（62.3 psR，37.7 puR），在引入完整图谱后因噪声影响而下降，表明存在最优粒度。
• 仅使用知识图谱中前 50 个最频繁的关系时，性能低于使用全部关系，表明关系多样性有助于提升泛化能力。
• 视觉关系知识图谱显著提升基线模型性能：MotifNet 在引入视觉关系知识后提升 +4.0 psR 和 +5.7 puR，IMP 提升 +8.2 psR 和 +6.0 puR。
• 定性结果表明，即使在训练数据中不存在此类组合，模型仍能正确预测如 'cat-eating-food' 和 'giraffe-lying-on-tree' 等关系。
• 消融实验确认，文本知识与视觉关系知识均不可或缺，二者结合可获得最佳性能。