[论文解读] Integrating Semantic Knowledge to Tackle Zero-shot Text Classification

Jingqing Zhang, Piyawat Lertvittayakumjorn+1 more|arXiv (Cornell University)|Mar 29, 2019

Domain Adaptation and Few-Shot Learning参考文献 28被引用 17

一句话总结

本文提出了一种基于两阶段CNN的框架，整合了词嵌入、类别描述、类别层次结构以及ConceptNet，以实现零样本文本分类。通过结合基于主题转换的数据增强与基于语义知识的特征增强，该方法在无需未见类别标注数据的情况下，在真实世界数据集上实现了最先进（SOTA）的整体准确率。

ABSTRACT

Insufficient or even unavailable training data of emerging classes is a big challenge of many classification tasks, including text classification. Recognising text documents of classes that have never been seen in the learning stage, so-called zero-shot text classification, is therefore difficult and only limited previous works tackled this problem. In this paper, we propose a two-phase framework together with data augmentation and feature augmentation to solve this problem. Four kinds of semantic knowledge (word embeddings, class descriptions, class hierarchy, and a general knowledge graph) are incorporated into the proposed framework to deal with instances of unseen classes effectively. Experimental results show that each and the combination of the two phases achieve the best overall accuracy compared with baselines and recent approaches in classifying real-world texts under the zero-shot scenario.

研究动机与目标

• 解决在动态领域（如社交媒体和医学诊断）中，对未见类别文本进行分类且无任何标注训练数据的挑战。
• 克服先前零样本文本分类方法依赖于已见类别与未见类别之间语义对应关系的局限性。
• 开发一种灵活的端到端框架，利用多种语义知识类型，实现对未见类别的泛化能力。
• 通过创新的数据增强与特征增强技术，提升零样本场景下的模型鲁棒性与准确性。

提出的方法

• 提出两阶段框架：第一阶段为粗粒度分类，判断文档属于已见类别还是未见类别；第二阶段为细粒度分类，分配具体类别。
• 通过主题转换实现数据增强，利用词嵌入将一个类别的语义意义转移到另一类别，以模拟未见类别的数据。
• 通过整合语义知识（词嵌入、类别描述、类别层次结构及ConceptNet）到关系向量中，实现特征增强，用于未见类别的表征。
• 所有分类器仅在已见类别的标注数据上进行训练，确保学习过程中不依赖未见类别的标注信息。
• 在两个阶段均使用卷积神经网络（CNN）提取层次化文本特征，支持端到端学习。
• 将多种语义知识源整合到统一的表征空间中，以增强对未见类别的泛化能力。

实验结果

研究问题

• RQ1 两阶段深度学习框架能否在零样本文本分类中有效区分已见类别与未见类别？
• RQ2 整合多种语义知识源（词嵌入、类别描述、层次结构及知识图谱）在多大程度上提升了零样本泛化能力？
• RQ3 基于主题转换的数据增强在多大程度上提升了对未见类别实例的检测能力？
• RQ4 利用语义知识的特征增强在多大程度上促进了从已见类别到未见类别的知识迁移？
• RQ5 在严格的零样本设置下，所提出的框架是否在性能上优于现有基线方法及近期最先进方法？

主要发现

• 在20 Newsgroups和DBPedia数据集上，所提框架在所有设置下均实现了最高的整体准确率，优于所有基线方法及近期方法。
• 数据增强与特征增强的结合显著提升了对未见类别实例的检测能力，其中主题转换增强了粗粒度分类器的性能。
• 通过整合语义知识的特征增强实现了有效的知识迁移，使模型能够在无标注样本的情况下泛化到未见类别。
• 该框架表现出高度灵活性，其各个组件（如分类器、知识源）可独立替换或增强。
• 模型在已见类别上保持了强劲性能，同时在未见类别上实现了最先进准确率，表明实现了有效的零样本泛化。
• 实验结果证实，该方法在严格零样本场景下有效运行，且无需训练类别与测试类别之间存在语义对应关系。