[论文解读] DefExt: A Semi Supervised Definition Extraction Tool

Luis Espinosa-Anke, Roberto Carlini+2 more|arXiv (Cornell University)|Jun 8, 2016

Natural Language Processing Techniques参考文献 13被引用 5

一句话总结

DefExt 是一种半监督的定义抽取工具，利用条件随机场（CRF）模型并结合自举机制，通过迭代方式提升领域文本中的定义检测性能。在 200 次迭代后，其在 MSR-NLP 测试集上的 F1 分数达到 77.44，在 W00 测试集上达到 71.85，表明其在传统词典来源之外的非标准文本中具备更强的覆盖范围和适应能力。

ABSTRACT

We present DefExt, an easy to use semi supervised Definition Extraction Tool. DefExt is designed to extract from a target corpus those textual fragments where a term is explicitly mentioned together with its core features, i.e. its definition. It works on the back of a Conditional Random Fields based sequential labeling algorithm and a bootstrapping approach. Bootstrapping enables the model to gradually become more aware of the idiosyncrasies of the target corpus. In this paper we describe the main components of the toolkit as well as experimental results stemming from both automatic and manual evaluation. We release DefExt as open source along with the necessary files to run it in any Unix machine. We also provide access to training and test data for immediate use.

研究动机与目标

• 开发一种易于使用、开源的自动化定义抽取工具，适用于领域特定语料库。
• 通过弱监督和迭代学习减少对人工维护词典的依赖。
• 提升在学术和技术文档中常见的非标准、噪声文本中的定义检测能力。
• 支持下游 NLP 任务，如词典构建、上下位词抽取和知识库生成。
• 提供可复用、兼容 Unix 的工具包，并附带预标注数据集，可立即投入使用。

提出的方法

• DefExt 在句子级别使用条件随机场（CRF）模型进行序列标注，以判断句子是否包含定义。
• 通过自举机制，利用前一轮迭代中高置信度的预测结果，对模型进行迭代再训练。
• 特征包括语言学特征（词性标注、词形还原、句法依存关系）、词典学特征（定义词与定义项的位置）以及统计术语度度量。
• 系统以列式格式处理输入，每行代表一个词，每列代表一个特征，最后一列标注 DEF 或 NODEF。
• 训练从种子数据集（WCL d）开始，通过 ACL-ARC d 语料库的预测结果，利用自举机制扩充训练数据。
• 该工具包作为 CRF++ 的封装工具，仅依赖 CRF++，无需外部 Python 库。

实验结果

研究问题

• RQ1 半监督自举方法是否能提升在领域特定、非标准文本上的定义抽取性能？
• RQ2 利用高置信度预测进行迭代优化，如何影响模型的泛化能力和覆盖范围？
• RQ3 DefExt 在噪声较大、真实世界学术语料库（如 ACL Anthology）中检测定义的能力如何？
• RQ4 在标准语料库上的表现与在更具变化性的领域特定文本上的表现相比如何？
• RQ5 在噪声大、真实世界语境下，人工评估者是否能可靠地区分真实定义与干扰项？

主要发现

• 经过 200 次自举迭代后，DefExt 在 MSR-NLP 测试集上的 F1 分数达到 77.44，在 W00 测试集上达到 71.85，表明其在多样化语料库中表现优异。
• 该模型在非标准文本上的覆盖范围得到提升，优于仅使用 WordNet 或 Wikipedia 定义训练的系统。
• 在人工评估中，DefExt 在非噪声句子上的精确率为 0.65，每 200 个句子中有 23 个因格式噪声导致无法阅读。
• 在标准语言（W00）上的性能随时间下降，而在更具变化性的文本（MSR-NLP）上性能则持续提升，表明通过自举实现了领域适应。
• 系统对噪声具有鲁棒性，原始格式和公式得以保留，仍能为人工评估者提供上下文线索。
• 发布的工具包包含预标注语料库（WCL d 和 ACL-ARC d），并兼容任何 Unix 系统，支持即插即用。