[论文解读] Knowledge-aware Zero-Shot Learning: Survey and Perspective

Jiaoyan Chen, Yuxia Geng+4 more|arXiv (Cornell University)|Feb 26, 2021

Domain Adaptation and Few-Shot Learning参考文献 30被引用 5

一句话总结

本文系统性地综述了知识感知的零样本学习（ZSL），将外部知识划分为文本、属性、知识图谱（KGs）和本体/规则四类。综述了计算机视觉、自然语言处理（NLP）以及知识图谱补全等领域的方法、基准测试及比较优势，强调了符号化知识在缓解样本稀缺问题中的日益重要作用。

ABSTRACT

Zero-shot learning (ZSL) which aims at predicting classes that have never appeared during the training using external knowledge (a.k.a. side information) has been widely investigated. In this paper we present a literature review towards ZSL in the perspective of external knowledge, where we categorize the external knowledge, review their methods and compare different external knowledge. With the literature review, we further discuss and outlook the role of symbolic knowledge in addressing ZSL and other machine learning sample shortage issues.

研究动机与目标

• 从外部知识的视角系统性回顾零样本学习（ZSL），这对于在无训练样本的情况下预测未见类别至关重要。
• 基于数据结构、表达能力与来源，对四种外部知识类型——文本、属性、知识图谱（KGs）和本体/规则——进行分类与比较。
• 识别现有ZSL研究中的研究空白，特别是尽管KGs和本体在近年来日益重要，但在以往综述中仍存在代表性不足的问题。
• 分析符号化知识表示在提升ZSL性能及应对更广泛机器学习样本稀缺问题中的作用。
• 通过比较不同知识源在ZSL设置下的优势与局限性，为未来研究提供基础。

提出的方法

• 基于数据结构、表达能力与来源，将外部知识划分为四类：文本、属性、知识图谱（KGs）和本体/规则。
• 回顾ZSL中的技术解决方案，包括基于映射函数的方法，该类方法学习从输入空间到语义编码空间的映射函数，以支持最近邻分类。
• 分析类别语义编码函数 $ h: y \rightarrow z $，该函数将符号化知识（如类别名称、描述、关系）转换为向量表示，供模型输入使用。
• 利用任务特定的基准与评估协议，跨领域（计算机视觉、NLP、知识图谱构建与补全）比较ZSL方法。
• 评估知识图谱（KGs）与本体在ZSL中的应用，尤其关注近年来的发展，结合NELL、Wikidata及基于规则的系统等案例研究。
• 提出一种神经符号范式，将符号化知识（如KGs、规则）与深度学习相结合，以提升在样本稀缺场景下的泛化能力。

实验结果

研究问题

• RQ1 不同类型的外部知识——文本、属性、KGs与本体/规则——在支持零样本学习方面的能力有何差异？
• RQ2 使用每类外部知识的ZSL方法在关键方法论差异与性能权衡方面有何不同？
• RQ3 为何尽管近年来KGs与本体在ZSL中应用日益广泛，但在以往的ZSL综述中仍代表性不足？
• RQ4 如何通过KGs与逻辑规则等符号化知识表示来增强零样本学习与少样本学习中的泛化能力？
• RQ5 在将符号化知识整合到ZSL及更广泛的样本稀缺机器学习中的过程中，仍存在哪些开放性挑战与未来研究方向？

主要发现

• 知识图谱（KGs）与本体作为高度表达且高效的外部知识源，在ZSL中表现突出，尤其在自然语言处理（NLP）与知识图谱补全任务中。
• 尽管早期ZSL研究集中于基于属性与文本描述的图像分类，但近期工作越来越多地利用大规模知识图谱（如Wikidata与NELL）以提升泛化能力。
• 在需要关系推理的任务中（如知识图谱链接预测与关系分类），基于KG的ZSL方法在性能上优于仅依赖属性或文本的方法。
• 尽管关注度持续上升，但目前仍缺乏针对KG与本体基ZSL的标准化基准，尤其在NLP与信息抽取领域。
• 将符号化知识（如本体、规则）与神经网络模型结合，形成一种有前景的神经符号范式，可提升样本稀缺学习中的可解释性与泛化能力。
• ZSL正越来越多地从计算机视觉领域拓展至NLP与知识图谱任务，其驱动力来自丰富符号化知识源的可得性，以及应对新兴类别的迫切需求。