[论文解读] Cross-Lingual Relation Extraction with Transformers

Jian Ni, Taesun Moon+2 more|arXiv (Cornell University)|Oct 16, 2020

Topic Modeling参考文献 32被引用 6

一句话总结

本文提出一种使用多语言Transformer（mBERT/XLM-R）的零样本跨语言关系抽取方法，采用一种新颖的编码方案，整合了实体位置和类型信息。该模型无需任何目标语言的标注数据或跨语言资源，即可实现最先进性能，在两个数据集上达到监督目标语言模型准确率的68–89%，展现出对低资源语言的强大迁移效率。

ABSTRACT

Relation extraction (RE) is one of the most important tasks in information extraction, as it provides essential information for many NLP applications. In this paper, we propose a cross-lingual RE approach that does not require any human annotation in a target language or any cross-lingual resources. Building upon unsupervised cross-lingual representation learning frameworks, we develop several deep Transformer based RE models with a novel encoding scheme that can effectively encode both entity location and entity type information. Our RE models, when trained with English data, outperform several deep neural network based English RE models. More importantly, our models can be applied to perform zero-shot cross-lingual RE, achieving the state-of-the-art cross-lingual RE performance on two datasets (68-89% of the accuracy of the supervised target-language RE model). The high cross-lingual transfer efficiency without requiring additional training data or cross-lingual resources shows that our RE models are especially useful for low-resource languages.

研究动机与目标

• 开发一种无需目标语言人工标注数据的跨语言关系抽取模型。
• 消除对平行语料、机器翻译系统或对齐词对等跨语言资源的依赖。
• 通过在输入序列中有效编码实体位置和类型信息，提升零样本迁移性能。
• 评估联合多语言训练在提升跨多种语言和书写系统泛化能力方面的有效性。
• 仅使用英语标注数据，证明在低资源语言中具有高跨语言迁移效率。

提出的方法

• 以预训练的多语言语言模型（mBERT和XLM-R）作为骨干网络，用于跨语言表征学习。
• 提出一种新颖的输入编码方案，使用特殊标记显式标注实体位置和类型。
• 采用基于Transformer的分类头，基于上下文表征预测实体对之间的关系类型。
• 仅在英语标注数据上进行训练，并直接应用于其他语言，无需微调。
• 通过将多种语言的数据合并到单一共享模型中，实现联合多语言训练。
• 使用归一化的跨语言迁移效率度量指标ρ，评估从源语言到其他语言的迁移性能。

实验结果

研究问题

• RQ1 仅在英语数据上训练的关系抽取模型，能否在无任何目标语言标注的情况下，对低资源语言实现强大的零样本性能？
• RQ2 所提出的编码方案在捕捉实体位置和类型信息以支持跨语言迁移方面效果如何？
• RQ3 与在单个语言上分别训练的单语模型相比，联合多语言训练是否能提升性能？
• RQ4 模型在不同语系和书写系统语言中的性能表现有何差异？
• RQ5 与其他语言相比，英语作为源语言的相对迁移效率如何？

主要发现

• 所提出的XLM-R-ETM-EMP模型在零样本跨语言关系抽取中，达到监督目标语言模型F1分数的68–89%。
• 该模型在未使用依存解析器或词性标注器的情况下，仍优于多种基于深度神经网络的英语关系抽取模型。
• 使用所有语言数据进行联合多语言训练的性能优于在每种语言上单独训练的单语模型。
• 多语言模型在不同语系及使用不同书写系统的语言中均保持一致的性能表现。
• 英语展现出最高的跨语言迁移效率（ρ），使其成为零样本迁移的最优源语言。
• 该模型在无需任何跨语言或语言特异性资源的情况下，实现了跨语言关系抽取的最先进性能。