[论文解读] Making Efficient Use of a Domain Expert's Time in Relation Extraction

Linara Adilova, Sven Giesselbach+1 more|arXiv (Cornell University)|Jul 12, 2018

Topic Modeling参考文献 19被引用 1

一句话总结

本文提出了一种主动学习框架，将领域专家不作为数据标注者，而是作为模型解释者，通过针对代表性三元组提供反馈来优化关系抽取。通过使用远程监督对数据进行预标注，并利用专家洞察力过滤过拟合的三元组，该方法提升了模型的泛化能力——尽管在命名实体上过拟合程度降低，但在10项关系中的5项上实现了更优性能，表明在低资源关系抽取场景下，专家时间得到了更高效的利用。

ABSTRACT

Scarcity of labeled data is one of the most frequent problems faced in machine learning. This is particularly true in relation extraction in text mining, where large corpora of texts exists in many application domains, while labeling of text data requires an expert to invest much time to read the documents. Overall, state-of-the art models, like the convolutional neural network used in this paper, achieve great results when trained on large enough amounts of labeled data. However, from a practical point of view the question arises whether this is the most efficient approach when one takes the manual effort of the expert into account. In this paper, we report on an alternative approach where we first construct a relation extraction model using distant supervision, and only later make use of a domain expert to refine the results. Distant supervision provides a mean of labeling data given known relations in a knowledge base, but it suffers from noisy labeling. We introduce an active learning based extension, that allows our neural network to incorporate expert feedback and report on first results on a complex data set.

研究动机与目标

• 通过最小化专家在数据标注中的直接参与，减少关系抽取中人工标注所需的工作量。
• 探索领域专家如何通过解释模型预测而非标注样本，更高效地做出贡献。
• 通过专家检查代表性n-gram后识别出的过拟合三元组进行过滤，提升模型泛化能力。
• 评估专家对三元组级模式的反馈是否能提升在低资源、专业领域中的性能。
• 证明专家时间更应投入于模型解释而非大规模数据标注，从而实现更高效的高质量关系抽取。

提出的方法

• 使用知识库应用远程监督自动标注训练数据，减少对手动标注的需求。
• 在远程监督数据上训练卷积神经网络（CNN），实现端到端的关系抽取。
• 使用全局最大池化和评分全连接层，基于学习到的句子表征进行关系分类。
• 引入主动学习循环，专家检查并过滤反映模型过拟合或虚假模式的三元组（n-grams）。
• 通过三元组过滤移除过度依赖命名实体（如人名、组织名）的样本，以提升泛化能力。
• 在专家驱动的三元组过滤前后评估模型性能，以衡量对精确率、召回率和过拟合的影响。

实验结果

研究问题

• RQ1 领域专家是否能通过解释模型行为而非标注数据，更有效地参与关系抽取？
• RQ2 专家对三元组模式的反馈如何影响低资源环境下模型的泛化能力和性能？
• RQ3 在仅依赖远程监督的基础上，过滤过拟合三元组能在多大程度上提升关系抽取性能？
• RQ4 在哪些关系类型中，专家对三元组的检查能带来最显著的性能提升？
• RQ5 结合远程监督与专家反馈的混合方法，是否能在工作量-性能比上超越完全监督或纯无监督方法？

主要发现

• 过滤过度依赖命名实体（如人名、组织名或地名）的三元组，减少了过拟合，并在10项关系中的5项上提升了泛化能力。
• 对于'per:alternate-names'和'per:stateorprovince-of-residence'等关系，移除无意义三元组后，模型能学习到更合理的语言模式，从而提升性能。
• 在'per:country-of-birth'关系中，过滤使结果改善，使模型得以学习'born in'等表达结构，而非依赖特定名称。
• 对于'per:employee-of'关系，过滤反而导致性能下降，因为模型失去了将公司名称作为强指示信号的能力，表明过滤必须具备上下文敏感性。
• 专家识别并移除虚假三元组的作用，比手动标注更为有效，尤其是在减少训练集与测试集中均存在的实体过拟合方面。
• 本研究证明，专家时间更应投入于模型解释与三元组级反馈，而非大规模数据标注，从而为高质量关系抽取提供了更高效路径。