[论文解读] Distant IE by Bootstrapping Using Lists and Document Structure

Lidong Bing, Mingyang Ling+2 more|arXiv (Cornell University)|Jan 4, 2016

Natural Language Processing Techniques参考文献 23被引用 7

一句话总结

该论文提出DIEBOLDS，一种用于信息抽取的远程监督方法，通过在图上进行标签传播，利用列表结构和文档节段边界来减少噪声训练数据。通过从一个小而结构良好的语料库进行自举，以改进大规模无结构的目标语料库，该方法在一个任务上将F1值翻倍，并显著提升召回率和精确率，超过Freebase基线。

ABSTRACT

Distant labeling for information extraction (IE) suffers from noisy training data. We describe a way of reducing the noise associated with distant IE by identifying coupling constraints between potential instance labels. As one example of coupling, items in a list are likely to have the same label. A second example of coupling comes from analysis of document structure: in some corpora, sections can be identified such that items in the same section are likely to have the same label. Such sections do not exist in all corpora, but we show that augmenting a large corpus with coupling constraints from even a small, well-structured corpus can improve performance substantially, doubling F1 on one task.

研究动机与目标

• 解决远程监督信息抽取中的高噪声率问题，其中知识库匹配错误会导致错误的训练标签。
• 通过识别和利用文本中的结构约束，提高远程标注训练数据的质量。
• 开发一种自举框架，结合远程监督与基于列表和节段级耦合的标签传播。
• 通过利用较小但结构良好的语料库中的结构信号，提升在大规模无结构语料库（如药物和疾病文档）上的关系抽取性能。
• 证明即使目标语料库缺乏此类结构，诸如并列列表和节段边界等结构线索也能显著改善远程监督信息抽取。

提出的方法

• DIEBOLDS解析大规模目标语料库和较小的结构良好语料库，以提取名词短语片段及其特征。
• 识别三种类型的耦合：列表耦合（列表中的条目可能具有相同标签）、节段耦合（同一文档节段中的条目可能具有相同标签）以及邻近耦合（相邻的名词短语可能共享标签）。
• 构建一个图结构，其中节点代表名词短语提及，边代表来自列表、节段和相邻关系的耦合约束。
• 在该图上应用标签传播，以优化远程标注实例，过滤掉噪声标签，并将置信标签传播到原本未标注的提及上。
• 使用经过优化的伪标注数据训练标准分类器，以预测实体提及与文档主题之间的关系类型。
• 系统使用ProPPR对提取的三元组进行复杂查询处理，结合Freebase种子与DIEBOLDS输出进行评估。

实验结果

研究问题

• RQ1 列表级和文档结构级的耦合约束是否能减少远程监督信息抽取中的噪声？
• RQ2 一个小型结构良好语料库在多大程度上能提升大规模无结构目标语料库的关系抽取性能？
• RQ3 与标准远程监督相比，基于耦合图的标签传播是否能提升F1和召回率？
• RQ4 即使目标语料库缺乏显式结构，结构化语料库中的耦合信号是否仍能将知识迁移至目标语料库？
• RQ5 在噪声较多的信息抽取场景下，结构信号的整合与传统自举方法或多实例学习相比有何优势？

主要发现

• DIEBOLDS显著优于经典远程监督方法，在一个关系抽取任务上将F1分数翻倍。
• DIEBOLDS的召回率比Freebase高出80%，表明其知识覆盖范围更广。
• 在BioASQ问答基准测试中，DIEBOLDS的平均倒数排名（MRR）为0.094，平均平均精度（MAP）为0.092，而Freebase的MRR为0.025，MAP为0.025。
• 使用结构化语料库中的列表信息（DIEBOLDS-SN）的性能优于仅使用局部标注的基线方法（DS+L），证明了外部结构信号的价值。
• 标签传播有效过滤了噪声远程标签，并将置信度传播至先前未标注的提及，从而同时提升了精确率和召回率。
• 即使目标语料库缺乏清晰的节段边界，只要能从相关且结构良好的源语料库中提取耦合信号，该方法依然有效。