[论文解读] Deep Short Text Classification with Knowledge Powered Attention

Jindong Chen, Yizhou Hu+3 more|arXiv (Cornell University)|Feb 21, 2019

Topic Modeling参考文献 22被引用 10

一句话总结

该论文提出STCKA，一种深度神经网络模型，通过使用双注意力机制整合知识库中的外部知识，提升短文本分类性能。通过应用概念到短文本（C-ST）和概念到概念集（C-CS）注意力机制，模型动态加权相关概念，改善语义表征，在四个公开数据集上达到最先进性能。

ABSTRACT

Short text classification is one of important tasks in Natural Language Processing (NLP). Unlike paragraphs or documents, short texts are more ambiguous since they have not enough contextual information, which poses a great challenge for classification. In this paper, we retrieve knowledge from external knowledge source to enhance the semantic representation of short texts. We take conceptual information as a kind of knowledge and incorporate it into deep neural networks. For the purpose of measuring the importance of knowledge, we introduce attention mechanisms and propose deep Short Text Classification with Knowledge powered Attention (STCKA). We utilize Concept towards Short Text (C- ST) attention and Concept towards Concept Set (C-CS) attention to acquire the weight of concepts from two aspects. And we classify a short text with the help of conceptual information. Unlike traditional approaches, our model acts like a human being who has intrinsic ability to make decisions based on observation (i.e., training data for machines) and pays more attention to important knowledge. We also conduct extensive experiments on four public datasets for different tasks. The experimental results and case studies show that our model outperforms the state-of-the-art methods, justifying the effectiveness of knowledge powered attention.

研究动机与目标

• 为解决短文本中存在的歧义性和上下文信息不足问题，这些问题会阻碍准确分类。
• 克服隐式神经模型忽略知识库（KBs）中结构化先验知识的局限性。
• 通过注意力机制学习概念的相关性，减轻知识库衍生概念中的噪声和歧义。
• 通过基于语义相关性和判别能力的自适应加权概念，提升分类性能。
• 通过将概念知识整合到深度学习框架中，统一显式与隐式表征。

提出的方法

• 通过概念化将外部知识库（如YAGO、Freebase）中的概念信息检索出来，将短文本链接到相关概念。
• 应用概念到短文本（C-ST）注意力机制，计算短文本与每个候选概念之间的语义相似度。
• 使用概念到概念集（C-CS）注意力机制，评估检索到的概念集合中每个概念的相对重要性。
• 通过可学习的软开关将C-ST和C-CS注意力得分结合，生成每个概念的最终注意力权重。
• 利用最终的注意力权重对概念嵌入进行加权求和，形成概念表征。
• 通过自注意力机制融合字符级和词级特征，生成上下文感知的短文本表征，并将其与概念表征融合用于分类。

实验结果

研究问题

• RQ1 将知识库中的外部知识整合是否能提升短文本分类模型的性能？
• RQ2 注意力机制如何根据概念与短文本的相关性，动态加权检索到的概念的重要性？
• RQ3 双注意力机制（C-ST与C-CS）能否有效解决知识库衍生概念中的歧义性和噪声问题？
• RQ4 所提出的模型是否在多样化的短文本分类任务中优于现有最先进方法？
• RQ5 当短文本中无命名实体或长尾实体在知识库中覆盖不足时，模型如何应对？

主要发现

• 所提出的STCKA模型在四个公开的短文本分类数据集上优于最先进方法，表现出更优的分类准确率。
• 双注意力机制（C-ST与C-CS）有效减少了无关或模糊知识库概念带来的噪声，例如能区分‘Apple’作为‘手机’与‘水果’的歧义。
• 模型为更具判别性的概念（如‘企业家’而非‘人’）分配更高的注意力权重，从而提升对模糊或罕见实体的分类性能。
• 知识增强的注意力机制显著改善了语义表征，尤其在未登录词或罕见实体上表现更优。
• 案例研究证实，模型通过聚焦于语义相关且具有判别性的知识，模拟了人类的推理过程。
• 即使在知识库不完整的情况下，模型仍保持鲁棒性，但对无有效概念的长尾实体，性能有所下降。