[论文解读] LUKE: Deep Contextualized Entity Representations with Entity-aware Self-attention

Ikuya Yamada, Akari Asai+3 more|arXiv (Cornell University)|Oct 2, 2020

Topic Modeling参考文献 41被引用 34

一句话总结

LUKE 引入预训练的上下文化词语和实体表示，使用将词语和实体视为标记的 Transformer，并采用实体感知自注意力机制，在多种与实体相关的任务上达到最先进的结果。

ABSTRACT

Entity representations are useful in natural language tasks involving entities. In this paper, we propose new pretrained contextualized representations of words and entities based on the bidirectional transformer. The proposed model treats words and entities in a given text as independent tokens, and outputs contextualized representations of them. Our model is trained using a new pretraining task based on the masked language model of BERT. The task involves predicting randomly masked words and entities in a large entity-annotated corpus retrieved from Wikipedia. We also propose an entity-aware self-attention mechanism that is an extension of the self-attention mechanism of the transformer, and considers the types of tokens (words or entities) when computing attention scores. The proposed model achieves impressive empirical performance on a wide range of entity-related tasks. In particular, it obtains state-of-the-art results on five well-known datasets: Open Entity (entity typing), TACRED (relation classification), CoNLL-2003 (named entity recognition), ReCoRD (cloze-style question answering), and SQuAD 1.1 (extractive question answering). Our source code and pretrained representations are available at https://github.com/studio-ousia/luke.

研究动机与目标

• 为下游实体相关任务激发对文本中实体的改进建模。
• 提出一种统一的基于 Transformer 的模型，联合将词和实体表示为标记。
• 引入一种新的预训练目标，在维基百科派生数据中对掩码实体进行掩码并预测。
• 开发一种实体感知自注意力机制，在注意力计算过程中区分标记类型。
• 在多个以实体为中心的基准测试中展示最先进的性能。

提出的方法

• 在统一的 Transformer 架构中把词语和实体视为独立的标记。
• 使用三种输入嵌入（token、position、和 entity type）来形成标记表示。
• 以 MLM 加上对一个大型维基百科派生语料的实体掩码目标进行预训练。
• 引入具有类别相关查询矩阵（Q_w2e、Q_e2w、Q_e2e）的实体感知自注意力，用于跨类型注意力计算。
• 在 LUKE 表示之上使用简单的线性分类器对各种任务进行微调。

实验结果

研究问题

• RQ1 在 Transformer 内，联合的词/实体标记表示是否可以提升面向实体的任务（类型识别、NER、问答、关系分类）？
• RQ2 与标准自注意力相比，实体感知自注意力机制是否能改善对实体之间关系的推理？
• RQ3 相较于仅词表示的预训练，来自维基百科注解数据的实体表示在下游表现提升到何种程度？

主要发现

• LUKE 在五个数据集上取得了最先进的结果：Open Entity（实体类型预测）、TACRED（关系分类）、CoNLL-2003（NER）、ReCoRD（填空式问答）和 SQuAD 1.1（抽取式问答）。
• 在 Open Entity 数据集上，LUKE 达到 78.2 F1（对比 RoBERTa 的 76.2），超越此前最好结果 2.0 F1。
• 在 TACRED 上，LUKE 达到 72.7 F1（对比 RoBERTa 的 71.3），超越此前最好结果 0.7 F1。
• 在 CoNLL-2003，LUKE 达到 94.3 F1（处于状态最先进，较此前约提升 0.8 F1）。
• 在 ReCoRD，LUKE 达到 91.4 F1（开发集）/ 90.9+ EM，优于 RoBERTa 基线。
• 在 SQuAD 1.1，LUKE 达到 95.0 F1（开发集）/ 89.8 EM，超越 RoBERTa 与 XLNet 的基线。