[论文解读] Long-tail Visual Relationship Recognition with a Visiolinguistic Hubless Loss

Sherif Abdelkarim, Panos Achlioptas+4 more|arXiv (Cornell University)|Mar 25, 2020

Multimodal Machine Learning Applications被引用 8

一句话总结

本文提出了一种新型任务，用于识别长尾视觉关系——即主体、谓词和宾语的罕见组合——通过视觉语言无中心损失（visiolinguistic Hubless loss）提升对低资源类别的泛化能力。该方法利用 WordNet 和 word2vec 的语义相似性，对语义相近的预测结果给予奖励，从而在不牺牲头部类别性能的前提下，持续提升对尾部关系的识别效果。

ABSTRACT

Scaling up the vocabulary and complexity of current visual understanding systems is necessary in order to bridge the gap between human and machine visual intelligence. However, a crucial impediment to this end lies in the difficulty of generalizing to data distributions that come from real-world scenarios. Typically such distributions follow Zipf's law which states that only a small portion of the collected object classes will have abundant examples (head); while most classes will contain just a few (tail). In this paper, we propose to study a novel task concerning the generalization of visual relationships that are on the distribution's tail, i.e. we investigate how to help AI systems to better recognize rare relationships like , where the subject S, predicate P, and/or the object O come from the tail of the corresponding distributions. To achieve this goal, we first introduce two large-scale visual-relationship detection benchmarks built upon the widely used Visual Genome and GQA datasets. We also propose an intuitive evaluation protocol that gives credit to classifiers who prefer concepts that are semantically close to the ground truth class according to wordNet- or word2vec-induced metrics. Finally, we introduce a visiolinguistic version of a Hubless loss which we show experimentally that it consistently encourages classifiers to be more predictive of the tail classes while still being accurate on head classes. Our code and models are available on this http URL.

研究动机与目标

• 解决真实世界数据中长尾分布下罕见视觉关系识别的挑战。
• 提升在对象、谓词或宾语类别训练样本极少的尾部类别上的泛化能力。
• 设计一种新的评估协议，利用词嵌入技术奖励与真实标签语义相近的预测结果。
• 引入一种视觉语言无中心损失，增强尾部类别预测能力，同时保持头部类别的准确率。
• 构建并发布基于 Visual Genome 和 GQA 的两个大规模基准数据集，用于长尾视觉关系检测。

提出的方法

• 基于 Visual Genome 和 GQA 数据集构建两个大规模视觉关系检测基准，强调长尾类别分布。
• 设计一种评估协议，利用 WordNet 和 word2vec 计算预测类别与真实类别之间的语义相似性，实现奖励分配。
• 提出一种视觉语言无中心损失，将语言先验信息融入损失函数，引导模型注意力聚焦于语义相关的尾部类别。
• 利用词嵌入定义语义相关概念的软标签分布，使模型能够泛化到罕见关系。
• 将无中心损失应用于视觉-语言模型，鼓励其不仅预测精确匹配，还预测语义相近的关系。
• 采用对比学习目标，对齐视觉特征与语言表示，提升零样本和少样本泛化能力。

实验结果

研究问题

• RQ1 视觉语言损失函数是否能在不降低头部类别准确率的前提下，提升长尾视觉关系的识别性能？
• RQ2 通过 WordNet 和 word2vec 实现的语义相似性，在引导模型对罕见关系做出正确预测方面有多有效？
• RQ3 经过修改的无中心损失在多大程度上能促使模型在视觉关系检测中泛化到尾部类别？
• RQ4 与标准准确率指标相比，所提出的评估协议在多大程度上更能反映真实世界的泛化能力？
• RQ5 将语言先验信息融入损失函数对少样本和零样本视觉关系识别有何影响？

主要发现

• 视觉语言无中心损失在保持头部类别高准确率的同时，持续提升了尾部类别视觉关系检测的性能。
• 所提出的评估协议有效奖励了预测语义相关概念的模型，即使预测结果并非精确匹配。
• 采用视觉语言无中心损失训练的模型在罕见关系上表现出更强的泛化能力，尤其在少样本和零样本设置下。
• 使用 word2vec 和 WordNet 嵌入显著提升了模型在长尾关系上的性能，提供了有意义的归纳偏置。
• 基于 Visual Genome 和 GQA 的两个新基准为长尾视觉关系识别提供了真实且可扩展的测试平台。
• 消融实验确认，损失函数中的语言成分对尾部泛化至关重要，在低资源场景下优于标准交叉熵损失。