[论文解读] K-ZSL: Resources for Knowledge-driven Zero-shot Learning.

Yuxia Geng, Jiaoyan Chen+4 more|arXiv (Cornell University)|Jun 29, 2021

Domain Adaptation and Few-Shot Learning参考文献 37被引用 5

一句话总结

本文介绍了五种用于知识驱动零样本学习（ZSL）的新资源，包括基准数据集和知识图谱（KG），其语义多样性涵盖文本、属性、关系和逻辑知识，专为零样本图像分类（ZS-IMGC）和零样本知识图谱补全（ZS-KGC）而设计。作者提供了详细的构建方法、统计数据、格式和使用案例，以支持基于知识图谱的ZSL方法的标准化评估与解释。

ABSTRACT

External knowledge (a.k.a side information) plays a critical role in zero-shot learning (ZSL) which aims to predict with unseen classes that have never appeared in training data. Several kinds of external knowledge such as text and attribute have been widely investigated, but they alone are limited with incomplete semantics. Therefore, some very recent studies propose to use Knowledge Graph (KG) due to its high expressivity and compatibility for representing kinds of knowledge. However, the ZSL community is still short of standard benchmarks for studying and comparing different KG-based ZSL methods. In this paper, we proposed 5 resources for KG-based research in zero-shot image classification (ZS-IMGC) and zero-shot KG completion (ZS-KGC). For each resource, we contributed a benchmark and its KG with semantics ranging from text to attributes, from relational knowledge to logical expressions. We have clearly presented how the resources are constructed, their statistics and formats, and how they can be utilized with cases in evaluating ZSL methods' performance and explanations. Our resources are available at this https URL.

研究动机与目标

• 解决在视觉与知识补全任务中，基于知识图谱（KG）的零样本学习（ZSL）方法缺乏标准化基准的问题。
• 提供多样化、语义丰富的知识源，涵盖文本、属性、关系事实和逻辑表达式，以增强ZSL模型的泛化能力与可解释性。
• 构建并发布五个基准资源，附带详细的文档、格式和使用案例，以支持基于知识图谱的ZSL研究的可复现性。
• 通过为零样本图像分类（ZS-IMGC）和零样本知识图谱补全（ZS-KGC）提供标准化、可重用的资源，实现对ZSL方法的系统性评估与解释。
• 通过提供一致且文档齐全的数据，为未来研究建立统一框架，以比较基于知识图谱的ZSL方法。

提出的方法

• 为ZSL构建五个不同的基于知识图谱（KG）的资源，整合多种知识类型：文本描述、属性注释、关系事实和逻辑表达式。
• 利用构建的知识图谱，设计并整理用于零样本图像分类（ZS-IMGC）和零样本知识图谱补全（ZS-KGC）的基准数据集。
• 通过与标准视觉与知识表示格式对齐，确保知识源之间的语义多样性与兼容性。
• 提供关于数据构建、统计数据和文件格式的详细文档，以支持无缝集成到现有ZSL流程中。
• 通过使用案例展示其效用，说明这些资源如何用于评估ZSL模型性能并生成模型解释。
• 将所有资源通过专用网址公开发布，以促进可复现性与社区采纳。

实验结果

研究问题

• RQ1 如何系统性地将多样化、语义丰富的知识源整合进视觉与知识推理任务的零样本学习基准中？
• RQ2 在零样本图像分类与知识补全任务中，使用多模态知识图谱（文本、属性、关系、逻辑）能带来哪些性能与泛化优势？
• RQ3 基于知识图谱的资源在零样本学习设置中，能在多大程度上提升模型的可解释性与可解释性？
• RQ4 如何构建标准化的基于知识图谱的ZSL基准，以实现不同方法之间的公平且可复现的比较？
• RQ5 在ZSL研究中，构建可重用、可扩展且互操作的知识资源的关键设计原则是什么？

主要发现

• 所提出的资源包含五个不同的基准与知识图谱，语义范围从文本描述到逻辑表达式，支持对基于知识图谱的ZSL方法的全面评估。
• 这些资源已公开发布，附带详细的文档、格式和使用案例，支持可复现性并可无缝集成到现有ZSL框架中。
• 构建过程确保了不同类型知识之间的语义一致性与兼容性，从而增强模型的泛化能力与可解释性。
• 这些基准专为零样本图像分类（ZS-IMGC）与零样本知识图谱补全（ZS-KGC）而设计，支持双重研究方向。
• 使用案例证明了这些资源在评估模型性能与生成解释方面的实用性，验证了其实际应用价值。
• 标准化且文档齐全的资源的可用性填补了ZSL社区中的关键空白，使方法比较更加公平且系统化。