[论文解读] Acquiring Background Knowledge to Improve Moral Value Prediction

Ying Lin, Joe Hoover+3 more|arXiv (Cornell University)|Sep 16, 2017

Hate Speech and Cyberbullying Detection参考文献 26被引用 3

一句话总结

本文提出了一种上下文感知框架，通过实体链接从外部知识库（如维基百科）自动获取并整合背景知识，从而提升推文中文本的道德价值预测性能。通过为短小、上下文贫乏的推文注入语义相关的知识特征，该模型实现了与单名人类标注者相当的性能，标志着首次将动态背景知识应用于计算社会科学中隐性心理变量的预测。

ABSTRACT

In this paper, we address the problem of detecting expressions of moral values in tweets using content analysis. This is a particularly challenging problem because moral values are often only implicitly signaled in language, and tweets contain little contextual information due to length constraints. To address these obstacles, we present a novel approach to automatically acquire background knowledge from an external knowledge base to enrich input texts and thus improve moral value prediction. By combining basic text features with background knowledge, our overall context-aware framework achieves performance comparable to a single human annotator. To the best of our knowledge, this is the first attempt to incorporate background knowledge for the prediction of implicit psychological variables in the area of computational social science.

研究动机与目标

• 为解决在短小、上下文贫乏的社交媒体文本（如推文）中检测隐性道德价值的挑战。
• 通过整合超越表面文本特征的外部背景知识，提升道德价值预测的准确性。
• 探究从维基百科等外部来源获取知识是否能增强自然语言处理模型对隐性心理属性的检测能力。
• 证明利用实体链接与知识库增强作为计算社会科学应用中可泛化的通用方法的可行性。
• 提供一种可适配于其他隐性情感或心理变量预测任务的框架。

提出的方法

• 应用实体链接识别推文中的命名实体，并将其链接至维基百科条目以获取知识。
• 从链接的实体中提取描述摘要和属性，并进行处理，以识别与五大道德基础（关怀/伤害、公平/欺骗、忠诚/背叛、权威/颠覆、纯洁/堕落）高度相关的术语。
• 将相关术语用作额外的判别性特征，与标准文本特征（如n-gram、词嵌入）结合，用于多标签分类模型。
• 使用词性标注和依存句法分析以提高实体链接和特征提取的准确性。
• 利用监督学习模型将文本特征与知识衍生特征相结合，以预测道德价值表达。
• 初始阶段通过人工选择相关实体和属性类型，未来工作将考虑自动化特征选择方法。

实验结果

研究问题

• RQ1 来自外部知识库的背景知识是否能提升在短小社交媒体文本中检测隐性道德价值的能力？
• RQ2 与仅依赖文本的模型相比，实体链接结合知识库增强在提升道德价值预测方面的有效性如何？
• RQ3 关于实体（如西布道浸信会）的知识在多大程度上有助于解决道德价值推断中的歧义？
• RQ4 哪些类型的知识特征（如实体属性、描述）对特定道德基础最具预测力？
• RQ5 与人类标注者相比，背景知识的整合如何影响模型性能？

主要发现

• 所提出的框架在从推文中预测道德价值方面，性能可与单名人类标注者相媲美。
• 与仅依赖表面文本特征的模型相比，整合背景知识显著提升了预测准确性。
• 实体链接使模型能够在道德参考为隐性时推断与实体相关的道德价值，例如识别‘西布道浸信会’的道德含义。
• 从维基百科描述和属性中衍生的知识特征，增强了模型检测细微、依赖上下文的道德信号的能力。
• 尽管存在挑战，该方法证明外部知识可有效弥补短文本（如推文）中上下文信息的缺失。
• 本研究识别出实体消歧和知识相关性方面的局限，尤其当知识库包含静态或过于泛化的事实、与推文语境不匹配时。