[论文解读] Enhancing Relation Extraction Using Syntactic Indicators and Sentential Contexts

Qiongxing Tao, Xiangfeng Luo+1 more|arXiv (Cornell University)|Dec 4, 2019

Topic Modeling参考文献 28被引用 4

一句话总结

本文提出了一种指示感知神经模型，通过整合句法指示符（如表示语义关系的介词等关键短语）与完整句子上下文，增强关系抽取。该模型采用基于BERT的编码方式，并结合人工提取的句法指示符施加约束，从而减少噪声并捕捉更具信息量的特征，在SemEval-2010基准上达到90.36%的F1分数，优于当前最先进方法。

ABSTRACT

State-of-the-art methods for relation extraction consider the sentential context by modeling the entire sentence. However, syntactic indicators, certain phrases or words like prepositions that are more informative than other words and may be beneficial for identifying semantic relations. Other approaches using fixed text triggers capture such information but ignore the lexical diversity. To leverage both syntactic indicators and sentential contexts, we propose an indicator-aware approach for relation extraction. Firstly, we extract syntactic indicators under the guidance of syntactic knowledge. Then we construct a neural network to incorporate both syntactic indicators and the entire sentences into better relation representations. By this way, the proposed model alleviates the impact of noisy information from entire sentences and breaks the limit of text triggers. Experiments on the SemEval-2010 Task 8 benchmark dataset show that our model significantly outperforms the state-of-the-art methods.

研究动机与目标

• 解决现有关系抽取模型对所有词语同等对待且忽略信息性句法线索的局限性。
• 减少句子中无关词语带来的噪声，这些噪声会妨碍准确的关系分类。
• 通过识别并利用句法指示符（如'moved into'等表示语义关系的短语）来提升关系抽取性能。
• 克服对固定词汇触发词的依赖，这些触发词在无显式触发词时会失效。
• 证明结合句法指示符与完整句子上下文可显著提升关系抽取的性能。

提出的方法

• 利用句法知识（包括实体消歧、主成分提取和无关实体移除）提取句法指示符。
• 模型采用基于BERT的上下文编码器，对完整句子和提取的句法指示符序列进行表示。
• 将句法指示符用作约束，引导上下文表示，使模型聚焦于与关系相关的关键特征。
• 采用双流编码机制，分别独立处理完整句子和句法指示符序列，随后融合其表示。
• 通过分类器头对融合后的表示进行最终分类，其中指示符作为监督信号。
• 通过基于BERT和非BERT模型（包括CNN和Bi-LSTM模块）进行消融实验，验证方法的有效性。

实验结果

研究问题

• RQ1 句法指示符（如介词或方向性词语）是否能在标准句子级建模之外进一步提升关系抽取性能？
• RQ2 在句子中引入句法指示符如何影响模型减少无关词语噪声的能力？
• RQ3 与仅依赖实体邻近性或固定词汇触发词的模型相比，句法指示符在多大程度上提升了性能？
• RQ4 对上下文表示施加句法指示符约束是否能带来更鲁棒和准确的关系分类？
• RQ5 所提出的指示感知方法是否能在多种关系类型中泛化，尤其是那些实体间跨度存在高噪声的关系？

主要发现

• 所提出的基于BERT的模型在SemEval-2010任务8基准上达到90.36%的F1分数，超越当前最先进方法。
• 在所有关系类别中引入句法指示符均提升了F1分数，其中提升最显著的是Instrument-Agency（+3.13个百分点）、Member-Collection（+3.06个百分点）、Message-Topic（+2.61个百分点）和Product-Producer（+5.95个百分点）。
• 非BERT模型（结合CNN和Bi-LSTM模块）达到85.9%的F1分数，优于其他CNN和RNN基模型，以及使用WordNet或NER标签等高级特征的模型。
• 移除句法指示符约束后性能下降，证实该指示符作为有意义的约束，有助于提升表示学习效果。
• 融合完整句子与指示符序列的特征，其结果优于单独使用任一来源，证明了两者的互补价值。
• 过度使用未经筛选的完整句子特征会导致性能下降，证实存在必须加以缓解的噪声。