[论文解读] Learning from Context or Names? An Empirical Study on Neural Relation Extraction

Hao Peng, Tianyu Gao+6 more|arXiv (Cornell University)|Oct 5, 2020

Topic Modeling参考文献 39被引用 18

一句话总结

本文研究了神经关系抽取（NRE）模型对文本上下文与实体提及的依赖程度，发现模型严重依赖基于提及的类型信息，且容易利用提及中的浅层线索。为解决此问题，作者提出一种实体掩码对比预训练框架，以增强上下文理解能力，同时减少对实体名称的偏见，显著提升了模型在多个基准测试中的鲁棒性与性能，尤其在低资源设置下表现突出。

ABSTRACT

Neural models have achieved remarkable success on relation extraction (RE) benchmarks. However, there is no clear understanding which type of information affects existing RE models to make decisions and how to further improve the performance of these models. To this end, we empirically study the effect of two main information sources in text: textual context and entity mentions (names). We find that (i) while context is the main source to support the predictions, RE models also heavily rely on the information from entity mentions, most of which is type information, and (ii) existing datasets may leak shallow heuristics via entity mentions and thus contribute to the high performance on RE benchmarks. Based on the analyses, we propose an entity-masked contrastive pre-training framework for RE to gain a deeper understanding on both textual context and type information while avoiding rote memorization of entities or use of superficial cues in mentions. We carry out extensive experiments to support our views, and show that our framework can improve the effectiveness and robustness of neural models in different RE scenarios. All the code and datasets are released at https://github.com/thunlp/RE-Context-or-Names.

研究动机与目标

• 调查神经关系抽取模型在多大程度上依赖于文本上下文而非实体提及（尤其是类型信息）。
• 识别现有关系抽取（RE）基准是否通过实体提及泄露浅层统计线索，从而导致模型预测产生偏见。
• 通过减少对实体名称中表面线索的过度依赖，同时增强上下文理解能力，提升模型鲁棒性。
• 开发一种预训练框架，显式地从上下文中学习关系语义，同时掩码实体提及以避免记忆实体身份。

提出的方法

• 作者通过仅使用上下文（OnlyC）、仅使用提及（OnlyM）以及两者结合（C+M）进行训练，开展消融研究，以隔离每种输入模态的贡献。
• 提出一种实体掩码对比预训练（CP）框架，在预训练阶段对实体提及进行掩码，以防止模型记忆实体身份。
• 该框架采用对比目标，学习表达相同关系的语义相似句子对，利用Wikidata识别此类句子对。
• 其利用预训练语言模型（如BERT），并在预训练过程中对实体提及应用掩码，以促使模型关注上下文中的关系模式。
• 该方法在维基百科句子上进行训练，并在包括TACRED、Wiki80、FewRel和ChemProt在内的多样化基准上进行评估。
• 在全资源和低资源/少样本设置下评估性能，以衡量模型的鲁棒性与泛化能力。

实验结果

研究问题

• RQ1 神经关系抽取模型在多大程度上依赖于文本上下文而非实体提及进行关系分类？
• RQ2 现有RE基准是否在实体提及中包含浅层统计线索，导致模型利用这些线索而非学习上下文模式？
• RQ3 一种在预训练阶段掩码实体提及的对比预训练框架，能否提升模型泛化能力并减少对提及中表面线索的依赖？
• RQ4 所提出的方法是否能在多样化领域和低资源设置下提升性能？

主要发现

• 即使仅提供实体提及作为输入，模型仍能取得高性能，表明现有基准通过提及中的类型信息泄露了浅层线索。
• 所提出的实体掩码对比预训练（CP）框架在所有基准上均提升了性能，其中在10类1-shot FewRel 1.0上提升7%，在TACRED的1%设置下提升18%。
• CP框架在低资源和少样本设置下表现出尤为显著的改进，证明其具备更强的鲁棒性并减少了对表面线索的过拟合。
• 该方法同时提升了上下文理解能力（OnlyC）和基于提及的类型利用能力（OnlyM），从而在C+M设置下实现更优的整体性能。
• 模型在跨领域场景中表现出良好泛化能力，尽管在维基百科上进行预训练，但在生物医学数据集ChemProt上仍表现优异。
• 案例研究证实，模型能够聚焦于上下文中的关系模式，而非记忆实体身份，验证了掩码与对比目标的有效性。